Robots协议是什么，Robots.txt的作用

　　当你开启一个全新站点的时候，默认的情况下网站根目录中是没有Robots.txt文件的，这导致很多站长并不关心Robots协议，这为日后的运营，埋下隐患，比如：

　　① 产生大量重复页面，动态链接被抓取。

　　② 新站无内容栏目，被收录，影响站点质量评定。

　　对于新站而言，由于蜘蛛抓取频率有限，我们应该合理利用Robos协议，巧用Robots.txt文件，引导蜘蛛爬行与抓取。

　　那么，Robots协议是什么，Robots.txt的作用有哪些?

　　1、Robots协议

　　简单理解：Robots协议是搜索引擎蜘蛛爬行的一种标准，当蜘蛛来访的时候会首先检测网站根目录下是否存在Robots.txt这个文件。

　　如果存在，它会根据Robots协议的规定，去抓取只被SEO管理允许抓取的页面，而屏蔽不需要抓取的内容，它可以理解为是蜘蛛与站点之间的桥梁。

　　2、Robots.txt文件样式

　　Robots.txt通常存放在网站跟目录，你可以登录FTP查看站点跟目录下是否存在这个文件，如果没有可以自行创建，当Robotx.txt为空的时候，它代表不为网站做任何的抓取限制。

　　通常Robots.txt的写法如下：

　　User-agent:*

　　Allow:/

　　它表示允许抓取所有的内容，而将Allow:/替换成Disallow:/则表示禁止抓取站点所有内容。

　　其中值得注意的是，百度支持使用通配符"*"和"$"来模糊匹配URL，具体关于Robots.txt文件的相关设置，你可以参考百度官方文档，百度搜索资源平台->网站支持->数据监控->Robots。

　　同时，当你修改了相关Robots.txt文件，而并不清楚是否设置正确的时候，也可以通过上述工具进行检测。

　　3、Robots.txt常见问题

　　① 如何生成Robots.txt文件

　　目前线上平台有很多SEO推广软件，都支持客户端自动生成Robots.txt文件，它提供了一些便利的条件，比如：自动屏蔽一些没必要的爬虫，避免浪费过多资源，以及相关栏目页面与图片等。

　　② 网站不收录，熊掌号不出数据

　　通常出现这个问题，你可以第一时间查看Robots.txt文件，是否由于操作失误，屏蔽了百度蜘蛛，导致网站不收录

　　③ Robots.txt与nofollow标签

　　有的时候当你试图屏蔽一个URL的时候，明明在Robots.txt禁止抓取了，仍然会被索引，这种情况是可能存在的，为了安全起见，你可以在标签中，添加nofollow，来达到万无一失的作用。

　　总结：Robots.txt文件是一个值得站长研究的协议，它合理的调配网站资源，有利于站点运营的快速发展。

本页核心：Robots协议

Tags：

声明：
1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源，如注作有误请联系我更改；
2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；
3.欢迎您对本文《Robots协议是什么，Robots.txt的作用》做点评，本页面网址：http://www.seodajun.com/seojiaocheng/959.html。