「SEO大军」博主SEO大军从事8年SEO工作,有丰富的网站SEO优化实战经验,诚接网站SEO诊断、SEO顾问!
微信号:seodajun

首页 > SEO常见问题 / 正文

URL中过多的参数是否会将蜘蛛带入抓取死循环?

蜘蛛抓取URL 2019-01-16 15:04:25 微信号:seodajun SEO常见问题
微信号:seodajun

  看到这个标题可能不少人是嗤之以鼻的,您还以为是90年代?~~不,今天我们讨论的是URL过多参数带来的次级影响,而非这个url本身。

URL中过多的参数是否会将蜘蛛带入抓取死循环

  URL中过多的参数是否会将google蜘蛛带入抓取死循环?

  答案是肯定的,不过有一个前提,你的GA代码里的trackpageview开启了自定义页面(即虚拟页面)。经过一段时间的研究发现,google确实会发生此种情况(百度对GA的JS应该是直接跳过的,根本不理睬~)。上次曾写过一篇此类的问题:关于GA代码里的trackPageview的url问题,代码404? 当时以为是因为格式符合的问题,目前看来不是那个问题,而是google自身的问题。

  一般意义上,随着搜索引擎技术的发展,常规的url,即使有10多个参数,搜索引擎也是能够抓取的,没有错。百度和google都能做到。

  可如果在这些URL拥有很多参数的页面里,JS的GA代码里trackpageview带有一个相对的地址(为了便于数据统计),那么google此时就开始犯傻了。不知道这是否是个bug?疯狂的抓取的这些不存在的页面,造成整个网站数量级上面的404页面,足足有18万之多,而且呈每日3000左右的递增,这让人情何以堪。

  造成的影响就是,google蜘蛛抓取非常不稳定,收录,来访次数,来自google的流量等等都开始下降。

本页核心:URL,蜘蛛,抓取

Tags:

声明:
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,如注作有误请联系我更改;
2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;
3.欢迎您对本文《URL中过多的参数是否会将蜘蛛带入抓取死循环?》做点评,本页面网址:http://www.seodajun.com/seowentijieda/1121.html。

微信号:seodajun
SEO常见问题
了解更多URL,蜘蛛,抓取,请在查看本站栏目对应内容进行参阅,如对URL中过多的参数是否会将蜘蛛带入抓取死循环?有不明之处可以与我交流,如URL中过多的参数是否会将蜘蛛带入抓取死循环?信息有误您也可以进行指导,本博客仅为SEO界的伙伴互相交流的一个SEO博客。
URL中过多的参数是否会将蜘蛛带入抓取死循环?
网站分类
标签列表
微信号:seodajun