搜索引擎是通过蜘蛛爬虫对网站页面进行抓取和收集，页面收集是搜索引擎工作的第一步。了解搜索引擎对网站页面抓取机制，可以让蜘蛛爬虫抓取更多页面，从而提升网站排名。

1、蜘蛛爬虫是什么

蜘蛛爬虫也叫做网络蜘蛛，是按照一定的规则，来抓取网站中页面的程序或脚本。

2、蜘蛛爬虫工作方式

蜘蛛爬虫想要抓取网站内容，必须要有一个入口，如果没有入口，就没法继续工作，所以，要给一个入口，这样蜘蛛爬虫才能顺着链接进入到网站的各个角落中，直到达到某个停止条件后才会停止。停止条件的设定通常是以时间或者数量来决定的，也可以通过链接的层数来限制蜘蛛爬虫的抓取。同时页面信息的重要性也会决定着蜘蛛爬虫是否对该页面进行检索。

3、认识种网站点

在搜索引擎中，有些网站很受蜘蛛爬虫的喜欢，而这些站点也会作为蜘蛛爬虫的起始网站。正常情况下，这类网站具有一定的权威性和导航性，很适合来做种子站点。所以，在做网站优化的时候，可以在种子站点中添加上自己的网站，这样有利于蜘蛛爬虫的抓取。

4、搜索引擎收集机制

网站更新的频率直接影响着蜘蛛爬虫对网站的抓取频率，如果网站每天定时定量的更新，那么，蜘蛛爬虫也会在那个时间段进入网站中进行抓取。

蜘蛛爬虫每次抓取网站内容后，都会把内容存储起来，如果第二次爬行发现页面和第一个收录完全一样，就说明网站没有更新，经过长时间抓取后，蜘蛛爬虫就会对网站页面的更新频率有一定的了解。一些不经常更新的网站，蜘蛛爬虫也就会放弃抓取了。如果网站经常更新内容，蜘蛛爬虫也就会经常进入网站，从而对网站上的新链接进行抓取，从而提升网站的排名。

所以，在做网站优化的时候，要经常更新网站的内容，这样才能增加网站被抓取的频率。

5、文件存储

搜索引擎蜘蛛在抓取网站页面后，会把页面存入原始数据库中，一段时间后，搜索引擎就会对原始数据库中的页面进行相应处理。