搜索引擎蜘蛛

搜索引擎蜘蛛一般有深度优先的搜索策略和广度优先的搜索策略,深度优先的搜索策略网络蜘蛛程序分析一个文档,并取出它的个链接所指的文档继续分析,然后如此继续下去。这样的搜索策略达到了网站结构的分析,以及页面链接深度分析,从而传达网站信息。