「SEO大军」博主SEO大军从事9年SEO工作,有丰富的网站SEO优化实战经验,诚接网站SEO诊断、SEO顾问!

首页 > SEO教程 / 正文

robots.txt语法详解和使用方法案例

robots.txt语法 2019-01-29 11:35:39 承接网站SEO顾问 SEO教程

  做seo做的是网站有效页面的排名,因此不用于排名的页面需要屏蔽掉,怎么屏蔽这些不用于排名的无效页面,来节约资源提升蜘蛛抓取效率呢?robots.txt文件给我们提供了非常有效的解决方法。怎么使用robots.txt文件呢?这篇文章的介绍很详细分享给初做seo的朋友们。

robots.txt语法

  一、robots.txt是什么?

  robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。

  当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

  二、robots.txt的作用

  1、引导搜索引擎蜘蛛抓取指定栏目或内容;

  2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

  3、屏蔽死链接、404错误页面;

  4、屏蔽无内容、无价值页面;

  5、屏蔽重复页面,如评论页、搜索结果页;

  6、屏蔽任何不想被收录的页面;

  7、引导蜘蛛抓取网站地图;

  三、Robots的语法(三个语法和两个通配符)

  三个语法如下:

  1、User-agent:(定义搜索引擎)

  示例:

  User-agent: *(定义所有搜索引擎)

  User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

  User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

  不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

  2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

  示例:

  Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

  Disallow: /admin (禁止蜘蛛爬取admin目录)

  Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

  Disallow: /help.html (禁止蜘蛛爬去help.html页面)

  3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

  示例:

  Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

  Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

  两个通配符如下:

  4、匹配符 “$”

  $ 通配符:匹配URL结尾的字符

  5、通配符 “*”

  * 通配符:匹配0个或多个任意字符

  四、robots.txt 综合示例

  1、禁止搜索引擎抓取特定目录

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

  User-agent: *

  Disallow: /admin/

  Disallow: /tmp/

  Disallow: /abc/

  2、禁止admin目录,但允许抓取admin目录下的seo子目录

  User-agent: *

  Allow: /admin/seo/

  Disallow: /admin/

  3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录)

  User-agent: *

  Disallow: /abc/*.htm$

  4、禁止抓取网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。

  5、禁止百度蜘蛛抓取网站所有的图片:

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.gif$

  Disallow: /*.png$

  Disallow: /*.bmp$

  6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告

  User-agent: *

  Disallow: /folder1/

  User-agent: Mediapartners-Google

  Allow: /folder1/

  请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

  五、注意事项

  1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。比如通过 http://你的域名/robots.txt 你就可以访问robots.txt文件了。

  2、robots.txt 文件名命名必须小写,记得在robot面加“s”。

  3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

  4、路径后面加斜杠“/” 和不加斜杠的是有区别的

  Disallow: /help

  禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

  Disallow: /help/

  禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

  5、Disallow与Allow行的顺序是有意义的:

  举例说明:

  允许蜘蛛访问 /admin/ 目录下的seo文件夹

  User-agent: *

  Allow: /admin/seo/

  Disallow: /admin/

  如果Allow 和 Disallow 的顺序调换一下:

  User-agent: *

  Disallow: /admin/

  Allow: /admin/seo/

  蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。

  六、关于Robots Meta

  Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

  Robots Meta 标签中没有大小写之分,name="Robots" 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name="Googlebot", content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。

  Index 指令告诉搜索机器人抓取该页面;

  NoIndex命令:告诉搜索引擎不允许抓取这个页面

  Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

  NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

  Robots Meta 标签的缺省值是Index和Follow;

  根据以上的命令,我们就有了一下的四种组合:

  meta name="robots" content="index,follow"/

  可以抓取本页,而且可以顺着本页继续索引别的链接

  meta name="robots" content="noindex,follow"/

  不许抓取本页,但是可以顺着本页抓取索引别的链接

  meta name="robots" content="index,nofollow"/

  可以抓取本页,但是不许顺着本页抓取索引别的链接

  meta name="robots" content="noindex,nofollow"/

  不许抓取本页,也不许顺着本页抓取索引别的链接。

  如果是meta name="robots" content="noindex,nofollow"/形式的话,

  可以写成:meta name="robots" content="none"/

  如果是meta name="robots" content="index,follow"/形式的话,

  可以写成:meta name="robots" content="all"/

  七、关于 rel="nofollow"

  将"nofollow"放在超链接中,告诉搜索引擎不要抓取特定的链接。

  如某博客上有垃圾评论:

  a href="url">灌水/a

  以下操作,即进行了 nofollow:

  a href="url" rel="nofollow">灌水/a

大军SEO,9年来一直专注SEO技术研究,营销型网站建设,热爱SEO,希望能和大家多多交流共同学习,目前主要为企业和个人提供网站优化,关键词排名等服务,属于全职个人站长,凡是跟大军合作的每家企业/个人都是认真负责,做好网站每个细节,如有SEO/网络营销技术问题的朋友可以。

本页核心:robots.txt,语法,使用方法

Tags:

声明:
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,如注作有误请联系我更改;
2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;
3.欢迎您对本文《robots.txt语法详解和使用方法案例》做点评,可以加我QQ或微信吐槽;
4.本页面网址:https://www.seodajun.com/seojiaocheng/1229.html

SEO教程
了解更多robots.txt,语法,使用方法,请在查看本站栏目对应内容进行参阅,如对robots.txt语法详解和使用方法案例有不明之处可以与我交流,如robots.txt语法详解和使用方法案例信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。

【大军SEO,9年如一日因为专业所以专注!做网站优化9年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。专注于营销型网站建设,整站优化外包、关键词排名、黑帽/白帽SEO技术!承接网站SEO优化服务、SEO顾问服务(QQ:88288050)】
热门标签