楼上(shang)说(shuo)的(de)很(hen)多(duo)，我补充一(yi)下，正确的应(ying)该(gai)叫网络(luo)蜘蛛，又称爬虫，本质是搜索引擎派(pai)出的一个执行抓取任务(wu)的程(cheng)序蜘蛛(zhu)池(chi)的(de)本质是大量的(de)网站互相链接，每(mei)个站单(dan)独产生大(da)量(liang)的内(nei)容吸引蜘蛛来爬，几千个网站互链时，可(ke)以想(xiang)象(xiang)蜘蛛(zhu)的链接