这个是我学习SEO中遇到的最难学的一些技术活了,但是没办法,还是要掌握。因为SEO优化中必须用到;

robots.txt的书写

robots上一篇我们有讲到,就是搜索引擎的机器人,百度要做蜘蛛,而robots.txt就是和这些机器人对话的语言。例如我们的网站还没有建设完成时,就不想让搜索引擎来到网站页面抓取内容,因为是再建设中,网站很多内容还没有确定下来,如果召来搜索引擎抓取,就会本人为网站不稳定,对延长后期网站收录的时间,还有就是我们网站的后台有很多信息也不想让搜索引擎看到,像登录信息等机密信息,所以在这个时候,就需要给搜索引擎下一个指令,明白告诉它,我的网站现在正在建设,请稍后再来。

robots.txt的一般写法如下:

User-agent: *
Disallow: /admin/
Disallow:
/old/love/
Disallow: /007.html

以上信息对搜索引擎说明 网站的admin登录信息不能抓取,007.html网页不能抓取,如果网站所有的内容都不想被搜索引擎抓取就写成

User-agent: BaiduspiderDisallow: /
User-agent: baiduspider
Disallow: /

这个写法是淘宝全面封杀百度蜘蛛的写法,我们可以照抄下来的。

写完后保存为.txt格式,上传到ftp网站的根目录下就可以了。

 

 

 

                                                                                                                          

 

声明:本站分享的WordPress主题/插件均遵循 GPLv2 许可协议(免费开源),相关介绍资料仅供学习参考,实际版本可能会因版本迭代或开发者调整而产生变化,如程序中涉及有第三方原创图像、设计模板、远程服务等内容,应获得作者授权后方可使用。本站不提供该程序/软件的产品授权与技术服务,亦不收取相关费用。