首页 > SEO教程 / 正文
Robots协议是什么,Robots.txt的作用
Robots协议 2019-01-03 18:21:57 微信号:seodajun SEO教程 ℃微信号:seodajun |
当你开启一个全新站点的时候,默认的情况下网站根目录中是没有Robots.txt文件的,这导致很多站长并不关心Robots协议,这为日后的运营,埋下隐患,比如:
① 产生大量重复页面,动态链接被抓取。
② 新站无内容栏目,被收录,影响站点质量评定。
对于新站而言,由于蜘蛛抓取频率有限,我们应该合理利用Robos协议,巧用Robots.txt文件,引导蜘蛛爬行与抓取。
那么,Robots协议是什么,Robots.txt的作用有哪些?
1、Robots协议
简单理解:Robots协议是搜索引擎蜘蛛爬行的一种标准,当蜘蛛来访的时候会首先检测网站根目录下是否存在Robots.txt这个文件。
如果存在,它会根据Robots协议的规定,去抓取只被SEO管理允许抓取的页面,而屏蔽不需要抓取的内容,它可以理解为是蜘蛛与站点之间的桥梁。
2、Robots.txt文件样式
Robots.txt通常存放在网站跟目录,你可以登录FTP查看站点跟目录下是否存在这个文件,如果没有可以自行创建,当Robotx.txt为空的时候,它代表不为网站做任何的抓取限制。
通常Robots.txt的写法如下:
User-agent:*
Allow:/
它表示允许抓取所有的内容,而将Allow:/替换成Disallow:/则表示禁止抓取站点所有内容。
其中值得注意的是,百度支持使用通配符"*"和"$"来模糊匹配URL,具体关于Robots.txt文件的相关设置,你可以参考百度官方文档,百度搜索资源平台->网站支持->数据监控->Robots。
同时,当你修改了相关Robots.txt文件,而并不清楚是否设置正确的时候,也可以通过上述工具进行检测。
3、Robots.txt常见问题
① 如何生成Robots.txt文件
目前线上平台有很多SEO推广软件,都支持客户端自动生成Robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。
② 网站不收录,熊掌号不出数据
通常出现这个问题,你可以第一时间查看Robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录
③ Robots.txt与nofollow标签
有的时候当你试图屏蔽一个URL的时候,明明在Robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在标签中,添加nofollow,来达到万无一失的作用。
总结:Robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。
微信号:seodajun |
猜你喜欢
- 2018-12-19 网站robots协议简介
- SEO教程
- 了解更多Robots协议,请在查看本站栏目对应内容进行参阅,如对Robots协议是什么,Robots.txt的作用有不明之处可以与我交流,如Robots协议是什么,Robots.txt的作用信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。【大军SEO:原名蒙晓军,8年如一日因为专业所以专注!做网站优化8年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。专注于营销型网站建设,整站优化外包、关键词排名、黑帽/白帽SEO技术!承接网站SEO优化服务、SEO顾问服务(QQ:88288050)】
- 07-06命中百度飓风算法后怎么恢复?
- 06-27关于网站SEO之索引常见的误区
- 06-10三招教你摆平站内SEO优化
- 06-10网站的SEO优化流程
- 06-10降低网站跳出率最有效方法
- 06-10如何提高原创文章的质量
- 06-10技术搜索引擎优化的5个基本方面不容忽视
- 06-10谷歌SEO优化的五个指标
- 06-10谷歌移动端优化越来越重要了
- 06-10用内容营销来快速提升搜索排名
- 1385℃企业网络推广方法
- 199℃SEO优化基础教程(主关键词、长尾关键词)
- 159℃百度索引量与收录量区别
- 149℃网站SEO基础流程图
- 133℃SEO入门教程技术分享
- 131℃seo排名方法的总结
- 130℃SEO分类:白帽SEO-黑帽SEO-灰帽SEO
- 128℃怎样判断网站是否优化过度
- 120℃网络营销seo推广视频教程
- 115℃快速提升关键词排名的灰帽小动作
- 12-12百度快速排名优化的捷径
- 12-12更新文章对网站SEO优化有作用?
- 12-12影响网站关键词排名的因素
- 07-26网站优化要注意时时微调
- 07-23网站长期SEO优化没排名是为什么?
- 07-08什么是死链?百度是如何对待死链的?
- 06-26通过SEO占据价值百万的搜索引擎广告位
- 06-23【爱站seo教程】如何做到百度收录快?
- 06-12思维和技术哪个对于seo更重要
- 05-26百度内部seo培训视频教程
- 热门标签
微信号:seodajun |