楼(lou)上说的很多，我(wo)补充一下，正确的应该叫网(wang)络蜘蛛，又(you)称爬虫(chong)，本质是搜(sou)索引擎派出的一个(ge)执行抓取任(ren)务(wu)的程(cheng)序蜘蛛池(chi)的(de)本质是大量(liang)的网(wang)站互相(xiang)链接(jie)，每(mei)个站单独产生大量的内容吸引(yin)蜘蛛来(lai)爬，几(ji)千(qian)个网站互链时(shi)，可以想象蜘(zhi)蛛的链(lian)接