
1 什么是搜狗spider抓取频率
搜狗spider和其它搜索引擎的spider是不一样的,因为算法结构不一样,因此,在某些算法研究上应该有区别对待。
搜狗spider抓取频率是搜狗spider对你网站的请求次数,每一次抓取其实就是一次请求,相当于你去打开自己的网站一样,这就是一次请求,有些网站每一次请求都是需要向服务发起请求,如果请求次数过多,就可能出现阻塞的现象,这就是我们下面要说的频率高低的问题。
2 搜狗spider抓取频率高低对网站的影响
搜狗spider抓取并不是越高越好,如果你的网站内容更新不频繁,那么自然不应该有太高的抓取频率,即使有内容更新,也是有限度的,一般情况下,搜狗spider对于同一个ip地址的服务器,只会派一个蜘蛛程序,抓取时间间隔可能控制在几秒一次,每一次抓取并不是抓取所有网页,对于新的内容它会重新抓取。
当然,也并不是每天都会抓取你的网站,可能会间隔一个周期会停止抓取也是有可能的,过多的抓取频率可能会给你的服务器造成较大压力,特别是大流量网站,服务器配置不好的话很容易挂掉。
当然,太低的抓取频率也是不行的,太低的抓取频率对你网站的收录不太好,特别是大量文章更新的时候,不及时抓取可能就不会产生任何收录,所以最好定时更新你网站的文章,形成周期的话,通常一经发布就可以达到秒收,自然就容易优化上去,否则是很难上去的。
那么,我们如何在调整搜狗spider抓取频率呢?下面我们来继续讲解。
3 调整搜狗spider抓取频率
如果你觉得你的搜狗spider抓取频率不够,可以进行调节,当然如果你觉得你的spider抓取太高也是可以调节的,具体登入搜狗站长工具后台。
网址如下:https://zhanzhang.sogou.com/index.php/sitefb/addPressure
选择调整原因:包括抓取压力过大或过小、数据更新不及时、抓取大量的无用和不存在或旧页面等,如果是其它原因可以选择其它。
第二个就是调整抓取频率,比如meitian 抓取多少条url或者一秒钟抓取多少条url,一秒最高限度为500条,这个数量是相当惊人的。
第三就是上传自己的网站url例子,这个主要是为了看你的链接和页面如何。
第四就是上传网站日志,主要是搜狗spider的抓取部分,可以进行过滤,可以多上传几天的日志截图,这样更有利于统计分析。
第五就是填上自己的手机号码,然后输入验证码,提交即可完整。
一般情况下,一周时间即可处理完成,所以你只需慢慢等待,当然机器可能无法按照你的预期来做,也就是抓取的频率可能与你的调整频率是有一些差距的,这个不要紧。
顶一下
(0)
踩一下
(0)