首页 SEO问问 百度是怎么抓取网站内容的?...

百度是怎么抓取网站内容的?

作者:

修改日期:

百度是中国最大的一个搜索引擎网站,很多网站SEO的优化大部分都是针对百度的。那么百度是怎么收录抓取网站内容的呢?

其实这里面牵涉到一个名词叫做‘robot’,robot的是一个英文单词,在SEO中被翻译为‘机器人’‘探测器’,这个就是搜索引擎用来抓取网站内容的程序,以往我们这文章中说到‘百度蜘蛛’‘谷歌爬虫’其实都是指这个robot。

然而不光是百度、谷歌有robot,其他的搜索引擎也有自己的‘机器人’例如谷歌:googlebot  百度:baiduspider   MSN:MSNbot   Yahoo:Slurp  ,这些都是世界上一些很大的搜索网站的‘robot’。

这几个搜索中最形象的就是百度和雅虎了,百度机器人,用蜘蛛很形象的诠释了robot和网站建链接的形式,网站就如一张大网,百度蜘蛛就是和这个网上的一只蜘蛛;雅虎的机器人是一个象形词,它是根据机器人吃东西时发出的啧啧的声音而引申出来Slurp这个词的。

而所有的搜索引擎就是靠这些robot去抓取网站内容的,这些机器人就像是个搜索引擎的公务员,每天都会按时的去他们数据库收录的网站上去抓取新鲜的东西,这也是网站拥有更新带动器的必要性,因为机器人是拟人化的,它也是一个喜新厌旧的家伙,所以为了你网站好的排名,加快更新步伐吧···