首页 > SEO教程 / 正文
robots.txt语法详解和使用方法案例
robots.txt语法 2019-01-29 11:35:39 承接网站SEO顾问 SEO教程 ℃做seo做的是网站有效页面的排名,因此不用于排名的页面需要屏蔽掉,怎么屏蔽这些不用于排名的无效页面,来节约资源提升蜘蛛抓取效率呢?robots.txt文件给我们提供了非常有效的解决方法。怎么使用robots.txt文件呢?这篇文章的介绍很详细分享给初做seo的朋友们。
一、robots.txt是什么?
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
二、robots.txt的作用
1、引导搜索引擎蜘蛛抓取指定栏目或内容;
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;
3、屏蔽死链接、404错误页面;
4、屏蔽无内容、无价值页面;
5、屏蔽重复页面,如评论页、搜索结果页;
6、屏蔽任何不想被收录的页面;
7、引导蜘蛛抓取网站地图;
三、Robots的语法(三个语法和两个通配符)
三个语法如下:
1、User-agent:(定义搜索引擎)
示例:
User-agent: *(定义所有搜索引擎)
User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)
User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)
不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)
示例:
Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
Disallow: /admin (禁止蜘蛛爬取admin目录)
Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
Disallow: /help.html (禁止蜘蛛爬去help.html页面)
3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)
示例:
Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)
两个通配符如下:
4、匹配符 “$”
$ 通配符:匹配URL结尾的字符
5、通配符 “*”
* 通配符:匹配0个或多个任意字符
四、robots.txt 综合示例
1、禁止搜索引擎抓取特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /abc/
2、禁止admin目录,但允许抓取admin目录下的seo子目录
User-agent: *
Allow: /admin/seo/
Disallow: /admin/
3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录)
User-agent: *
Disallow: /abc/*.htm$
4、禁止抓取网站中所有的动态页面
User-agent: *
Disallow: /*?*
屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。
5、禁止百度蜘蛛抓取网站所有的图片:
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告
User-agent: *
Disallow: /folder1/
User-agent: Mediapartners-Google
Allow: /folder1/
请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。
五、注意事项
1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。比如通过 http://你的域名/robots.txt 你就可以访问robots.txt文件了。
2、robots.txt 文件名命名必须小写,记得在robot面加“s”。
3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。
4、路径后面加斜杠“/” 和不加斜杠的是有区别的
Disallow: /help
禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html
Disallow: /help/
禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html
5、Disallow与Allow行的顺序是有意义的:
举例说明:
允许蜘蛛访问 /admin/ 目录下的seo文件夹
User-agent: *
Allow: /admin/seo/
Disallow: /admin/
如果Allow 和 Disallow 的顺序调换一下:
User-agent: *
Disallow: /admin/
Allow: /admin/seo/
蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。
六、关于Robots Meta
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots Meta 标签中没有大小写之分,name="Robots" 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name="Googlebot", content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。
Index 指令告诉搜索机器人抓取该页面;
NoIndex命令:告诉搜索引擎不允许抓取这个页面
Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
Robots Meta 标签的缺省值是Index和Follow;
根据以上的命令,我们就有了一下的四种组合:
meta name="robots" content="index,follow"/
可以抓取本页,而且可以顺着本页继续索引别的链接
meta name="robots" content="noindex,follow"/
不许抓取本页,但是可以顺着本页抓取索引别的链接
meta name="robots" content="index,nofollow"/
可以抓取本页,但是不许顺着本页抓取索引别的链接
meta name="robots" content="noindex,nofollow"/
不许抓取本页,也不许顺着本页抓取索引别的链接。
如果是meta name="robots" content="noindex,nofollow"/形式的话,
可以写成:meta name="robots" content="none"/
如果是meta name="robots" content="index,follow"/形式的话,
可以写成:meta name="robots" content="all"/
七、关于 rel="nofollow"
将"nofollow"放在超链接中,告诉搜索引擎不要抓取特定的链接。
如某博客上有垃圾评论:
a href="url">灌水/a
以下操作,即进行了 nofollow:
a href="url" rel="nofollow">灌水/a
- 上一篇:SEO代理优化注意事项
- 下一篇:seo术语,搜索引擎优化专业术语
猜你喜欢
- 2019-03-16 robots.txt写法,robots怎么解除限制以及添加读取规则
- 2019-03-16 robots.txt文件协议最佳设置技巧
- 2018-12-13 Site指令查的结果数是百度收录的网页数量吗?
- 2018-06-03 nofollow标签的作用与Nofollow标签使用法
- SEO教程
- 了解更多robots.txt,语法,使用方法,请在查看本站栏目对应内容进行参阅,如对robots.txt语法详解和使用方法案例有不明之处可以与我交流,如robots.txt语法详解和使用方法案例信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。【大军SEO,9年如一日因为专业所以专注!做网站优化9年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。专注于营销型网站建设,整站优化外包、关键词排名、黑帽/白帽SEO技术!承接网站SEO优化服务、SEO顾问服务(QQ:88288050)】
- 07-04SEO和SEM有什么区别?
- 07-04网站SEO之数据分析
- 07-04中小企业网站SEO优化,从哪些方面入手?
- 07-04中小企业怎样做好网站SEO优化?
- 06-23什么是能谋善断,SEO能谋善断的方法?
- 06-23商企网站排名,云优化真的好吗?
- 06-23云备份是什么意思,网站怎么备份?
- 06-23SEO排名万能公式,两个要素值得关注?
- 06-23网站没有“实质性内容”也会有排名?
- 06-23SEO若不懂,不妄议,仍在学习的道路上
- 1489℃企业网络推广方法
- 468℃命中百度飓风算法后怎么恢复?
- 333℃提升伪原创内容的质量
- 264℃百度索引量与收录量区别
- 225℃seo管家中心
- 187℃2019年WordPress CMS怎么做SEO?
- 185℃百度图片推广的方法
- 171℃SEO入门教程技术分享
- 170℃三招教你摆平站内SEO优化
- 168℃优质网页面标题建议
- 06-13SEO推广,排名是唯一的衡量指标吗?
- 12-12百度快速排名优化的捷径
- 12-12更新文章对网站SEO优化有作用?
- 07-26网站优化要注意时时微调
- 07-23网站长期SEO优化没排名是为什么?
- 07-08什么是死链?百度是如何对待死链的?
- 06-26通过SEO占据价值百万的搜索引擎广告位
- 06-23【爱站seo教程】如何做到百度收录快?
- 06-12思维和技术哪个对于seo更重要
- 05-26百度内部seo培训视频教程
- 热门标签