首页 > SEO教程 / 正文
robots使用技巧
robots使用技巧 2018-12-19 15:42:17 承接网站SEO顾问 SEO教程 ℃1. 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
下面是VeryCMS里的robots.txt文件:
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
3. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。
4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:
Sitemap: http://www.seodajun.com/sitemap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。
5. 合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
- 上一篇:整合搜索与SEO
- 下一篇:用户个性化搜索与网站SEO
猜你喜欢
- 2022-07-26 女用自慰器的使用技巧
- 2022-07-21 女人自慰快速到高潮的技巧
- 2022-07-21 女人自慰技巧教程
- 2022-06-22 网络营销人才必备的技能有哪些?
- 2022-06-09 网站SEO优化方法与技巧
- 2021-03-31 SEO经理岗位职责是什么,招聘与面试技巧有哪些?
- 2020-12-10 博客技巧:提升访问量的4个方法!
- 2020-11-06 为什么说“SEO删除文章”也是一门手艺?
- 2020-08-17 教你商场开业软文的写作技巧
- 2020-08-17 软文快速写作方法,有什么技巧
- SEO教程
- 了解更多robots,使用,技巧,请在查看本站栏目对应内容进行参阅,如对robots使用技巧有不明之处可以与我交流,如robots使用技巧信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。【大军SEO,9年如一日因为专业所以专注!做网站优化9年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。专注于营销型网站建设,整站优化外包、关键词排名、黑帽/白帽SEO技术!承接网站SEO优化服务、SEO顾问服务(QQ:88288050)】
- 07-04SEO和SEM有什么区别?
- 07-04网站SEO之数据分析
- 07-04中小企业网站SEO优化,从哪些方面入手?
- 07-04中小企业怎样做好网站SEO优化?
- 06-23什么是能谋善断,SEO能谋善断的方法?
- 06-23商企网站排名,云优化真的好吗?
- 06-23云备份是什么意思,网站怎么备份?
- 06-23SEO排名万能公式,两个要素值得关注?
- 06-23网站没有“实质性内容”也会有排名?
- 06-23SEO若不懂,不妄议,仍在学习的道路上
- 1489℃企业网络推广方法
- 468℃命中百度飓风算法后怎么恢复?
- 333℃提升伪原创内容的质量
- 264℃百度索引量与收录量区别
- 225℃seo管家中心
- 187℃2019年WordPress CMS怎么做SEO?
- 185℃百度图片推广的方法
- 171℃SEO入门教程技术分享
- 170℃三招教你摆平站内SEO优化
- 168℃优质网页面标题建议
- 06-13SEO推广,排名是唯一的衡量指标吗?
- 12-12百度快速排名优化的捷径
- 12-12更新文章对网站SEO优化有作用?
- 07-26网站优化要注意时时微调
- 07-23网站长期SEO优化没排名是为什么?
- 07-08什么是死链?百度是如何对待死链的?
- 06-26通过SEO占据价值百万的搜索引擎广告位
- 06-23【爱站seo教程】如何做到百度收录快?
- 06-12思维和技术哪个对于seo更重要
- 05-26百度内部seo培训视频教程
- 热门标签