您好!欢迎来到静学网! 注册 登入
  • 致力中国及国外独立搜索引擎技术及第三方网站搜索引擎SEO排名研究

百度Spider升级HTTPS抓取,意味着百度蜘蛛对HTTPS站点已经适应

课程目录 卢育永 次浏览
2017年8月30日百度宣布全面升级Spider,进一步加深对HTTTPS协议头网站的敏感性,也就是之前在https站点的网站,百度Spider抓取到的几率比较低,在大势所趋的前提下,很多网站特别是在安全性方面要求比较高的网站,一般都是HTTPS的站点。因此百度此次升级spider意义重大,HTTPS数据将更快被Spider抓取到。
 
1 百度spider升级建议
 
官方建议如果正在做https技术改造,且网站数据未搭建好的,为避免spider抓取,造成网站流量损失,应该先把HTTPS的协议封掉,可把443端口关掉;做HTTPS到http的301;建议站点在改HTTPS没改造好之前,不要提供超链接指向,以免被Spider抓到HTTPS;针对一个服务器下有多个域名的情况,建议未做HTTPS的网站,设置HTTPS抓取返回失败码,或将HTTPS站点301/302到HTTP,避免抓取出现问题。
 
2 什么是https
 
对于第一次接触https来说确实是棘手,当然只要你对http有那么一点了解,相信对于https也是不会陌生的,https其全称为(Hyper Text Transfer Protocol over Secure Socket Layer 或 Hypertext Transfer Protocol Secure)也称为“超文本传输协议”,https的创造者是网景通信公司(Netscape Communications Corporation),简称为“网景”,不过好景不长,网景通信公司在1998年11月被美国在线收购。
 
3https的作用是什么?
 
https作用简单来讲就是防止网站数据在传输过程中被恶意纂改或截取,也就是它能够建立一个信息安全通道,确保数据传输的安全;另一方面就是可以认证网站的真实性,大家可自行输入已经搭建好https的网站,可查看相关证书,,一般信息保护比较强的行业都会加的,比如金融行业、大型站点等,如下图:
百度Spider升级HTTPS抓取
 
 
还有就是https需要建立在SSL(Security Socket Layer 加密套接字协议层)的基础上才有效果。
 
 

静学网 , 版权所有丨如未注明 , 均为原创丨转载请注明百度Spider升级HTTPS抓取,意味着百度蜘蛛对HTTPS站点已经适应
顶一下
(0)
踩一下
(0)
友情链接:
网站优化
本网站所刊载信息,不代表静学网观点。 刊用本网站稿件,务经书面授权或注明来源。 未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。 投稿邮箱:1870447831@qq.com | 举报邮箱:1870447831@qq.com