首页 > SEO常见问题 / 正文
网站robots协议简介
网站robots协议 2018-12-19 15:38:17 承接网站SEO顾问 SEO常见问题 ℃搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。
Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用"Disallow: *.gif"这样的通配符。
其他的影响搜索引擎的行为的方法包括使用robots元数据:
meta name="robots" content="noindex,nofollow"
这个协议也不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面
robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
- 上一篇:软文标题怎样写符合SEO?
- 下一篇:关键词堆砌常见问题解答
猜你喜欢
- 2022-07-11 百度站点关联主体”常见问题解析
- 2022-07-07 视频网站有哪些?视频网站排行榜
- 2022-07-04 网站SEO之数据分析
- 2022-07-04 中小企业网站SEO优化,从哪些方面入手?
- 2022-07-04 中小企业怎样做好网站SEO优化?
- 2022-07-01 网站502 bad gateway怎么解决?
- 2022-06-30 怎么上国外网站?海外网站怎么访问快?
- 2022-06-23 商企网站排名,云优化真的好吗?
- 2022-06-23 云备份是什么意思,网站怎么备份?
- 2022-06-23 网站没有“实质性内容”也会有排名?
- SEO常见问题
- 了解更多网站,robots协议,请在查看本站栏目对应内容进行参阅,如对网站robots协议简介有不明之处可以与我交流,如网站robots协议简介信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。【大军SEO,9年如一日因为专业所以专注!做网站优化9年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。专注于营销型网站建设,整站优化外包、关键词排名、黑帽/白帽SEO技术!承接网站SEO优化服务、SEO顾问服务(QQ:88288050)】
- 07-26百度相关搜索是什么目的?
- 07-08url指的是什么,URL是什么意思?
- 07-04网站http协议转https协议怎么操作?
- 06-22如何理解网站SEO主题的矛与盾?
- 06-22外链增长速度怎么算,为什么你要关心?
- 06-22网站关键词排名,容易忽略误区
- 06-22关键词拼写错误,对SEO有什么影响?
- 06-22如何申请网站子链,为什么站点子链很重要?
- 06-22SEO的道与术,因果关系的选择
- 06-22网站页面不参与排名的原因是什么?
- 344℃网站关键词排名,容易忽略误区
- 292℃SEO优化基础教程(主关键词、长尾关键词)
- 260℃SEOer面试常见问题解答
- 241℃在做网站SEO优化时常见的5个疑问
- 232℃什么是降权, 如何做降权查询?
- 223℃SEOVIP 培训单页,如何排名百度首页
- 222℃如何找出网站收录异常的罪魁祸首?
- 195℃网站SEO基础流程图
- 194℃高质量外链资源有哪些?
- 190℃SEO文章转载要注意什么?
- 01-23链接是什么,为什么网站链接很重要?
- 12-26企业网站托管?
- 12-19nofollow标签怎么用?
- 12-14什么是seo
- 12-13如何快速增加网站外链?
- 12-13如何判断网站被黑?
- 12-12网站被黑导致K站怎么办?
- 12-12影响网站关键词排名的因素
- 08-01如何防止网站被黑?
- 08-01网站访问速度和哪些因素有关呢?
- 热门标签