百度是中国最大的一个搜索引擎网站,很多网站SEO的优化大部分都是针对百度的。那么百度是怎么收录抓取网站内容的呢?
其实这里面牵涉到一个名词叫做‘robot’,robot的是一个英文单词,在SEO中被翻译为‘机器人’‘探测器’,这个就是搜索引擎用来抓取网站内容的程序,以往我们这文章中说到‘百度蜘蛛’‘谷歌爬虫’其实都是指这个robot。
然而不光是百度、谷歌有robot,其他的搜索引擎也有自己的‘机器人’例如谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp ,这些都是世界上一些很大的搜索网站的‘robot’。
这几个搜索中最形象的就是百度和雅虎了,百度机器人,用蜘蛛很形象的诠释了robot和网站建链接的形式,网站就如一张大网,百度蜘蛛就是和这个网上的一只蜘蛛;雅虎的机器人是一个象形词,它是根据机器人吃东西时发出的啧啧的声音而引申出来Slurp这个词的。
而所有的搜索引擎就是靠这些robot去抓取网站内容的,这些机器人就像是个搜索引擎的公务员,每天都会按时的去他们数据库收录的网站上去抓取新鲜的东西,这也是网站拥有更新带动器的必要性,因为机器人是拟人化的,它也是一个喜新厌旧的家伙,所以为了你网站好的排名,加快更新步伐吧···