Spider
阅读:(1351) | 2017-04-20
赞0
Spider,即搜索引擎蜘蛛,指搜索引擎在互联网中,爬行抓取网页数据的机器程序。搜索引擎蜘蛛的工作是沿着网络链接漫游Web文档集合,并将Web文档的数据带回到搜索引擎数据库中,然后以文档中包含的未访问链接作为新的起点,继续进行漫游,直到没有满足条件的新URL为止。蜘蛛在爬行网页时,并不一定会抓取未访问的链接,不抓取只是爬行,就是未被收录。
作者:9527
Spider
阅读:(1351) | 2017-04-20
赞0
Spider,即搜索引擎蜘蛛,指搜索引擎在互联网中,爬行抓取网页数据的机器程序。搜索引擎蜘蛛的工作是沿着网络链接漫游Web文档集合,并将Web文档的数据带回到搜索引擎数据库中,然后以文档中包含的未访问链接作为新的起点,继续进行漫游,直到没有满足条件的新URL为止。蜘蛛在爬行网页时,并不一定会抓取未访问的链接,不抓取只是爬行,就是未被收录。