首页 SEO问问 重温SEO技术-百度站长F...

重温SEO技术-百度站长FAQ解读(三)

作者:

修改日期:

本篇我们继续学习百度站长给出的搜索建议规则,这节研读百度搜索引擎建议第三条:如何让我的网页不被百度收录?站长搭建网站以后,有些内容不想被百度或其他搜索引擎索引,那么可以通过搜索引擎支持的协议规则屏蔽搜索引擎的抓取,下面我们看下百度给出的具体建议:

如何让我的网页不被百度收录?

  • 百度严格遵循搜索引擎Robots协议(详细内容,参见http://www.robotstxt.org/)。
  • 您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法,参见:如何撰写Robots文件。
  • 如果您的网站在被百度收录之后才设置Robots文件禁止抓取,那么新的Robots文件通常会在48小时内生效,生效以后的新网页,将不再建入索引。需要注意的是,robots.txt禁止收录以前百度已收录的内容,从搜索结果中去除可能需要数月的时间。
  • 如果您的拒绝被收录需求非常急迫,可以在反馈中心反馈,我们会尽快处理。

1、百度严格遵循搜索引擎Robots协议;
robots协议时站长和搜索引擎之间的协议文书,也被成为机器人排除协议。站长通过书写robots规则可以告诉搜索引擎机器人哪些文件可以访问,哪些不需要索引抓取。一个新的搜索引擎机器人来到网站访问,第一个访问的就是根目录下面的robots文件,一般情况下搜索引擎都会遵循这个协议文件。
2、您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录;
robots协议文件出了屏蔽具体的链接文档,也可以整体屏蔽一个分类文档,或带有特定后缀或前缀的文件。
3、robots.txt的具体写法:
具体可以参考百度robots.txt书写规则建议:http://www.baidu.com/search/robots.html;
4、robots文件如果被编辑修改,一般需要等到48小时后才能生效,并不是实时更新的。

robots.txt语法规则:
User-agent: 针对的搜索引擎名称,如果是针对百度可以写为:User-agent: Baiduspider,如果是针对所有搜索引擎则写为:User-agent: *;
Disallow: 这个规则后的所有文件不允许搜索引擎抓取索引;
Allow: 允许抓取的文件;
“*”and”$”:Baiduspider支持使用通配符”*”和”$”来模糊匹配url,”$” 匹配行结束符,”*” 匹配0或多个任意字符。

以下是学建站网的robots文件,你可以通过http://www.xuejianzhan.com/robots.txt查看。

User-agent: * [针对所有搜索引擎]
Disallow: /wp-admin/ [不允许抓取wp-admin文件夹下的文件]
Disallow: /wp-includes/ [不允许抓取wp-includes文件夹下的文件]
Disallow: /tool/ [不允许抓取tool文件夹下的文件]
Disallow: /code/ [不允许抓取code文件夹下的文件]
Disallow: /feed [不允许抓取feed文件]
Disallow: /wp-* [不允许抓取wp-开通的wordpress文件]
Disallow: /?s= [不允许抓取搜索出来的页面]
Sitemap: http://www.xuejianzhan.com/sitemap_baidu.xml [百度地图地址]

[]括号中针对规则进行的解释,自己书写时可以参考本站写法和百度robots.txt书写规则建议。

特别提醒#:无论是新站还是为修改完成的网站,请一定不要屏蔽百度搜索引擎索引网站页面,不然后期会导致收录缓慢。