2017年8月30日百度宣布全面升级Spider,进一步加深对HTTTPS协议头网站的敏感性,也就是之前在https站点的网站,百度Spider抓取到的几率比较低,在大势所趋的前提下,很多网站特别是在安全性方面要求比较高的网站,一般都是HTTPS的站点。因此百度此次升级spider意义重大,HTTPS数据将更快被Spider抓取到。
1 百度spider升级建议
官方建议如果正在做https技术改造,且网站数据未搭建好的,为避免spider抓取,造成网站流量损失,应该先把HTTPS的协议封掉,可把443端口关掉;做HTTPS到http的301;建议站点在改HTTPS没改造好之前,不要提供超链接指向,以免被Spider抓到HTTPS;针对一个服务器下有多个域名的情况,建议未做HTTPS的网站,设置HTTPS抓取返回失败码,或将HTTPS站点301/302到HTTP,避免抓取出现问题。
2 什么是https
对于第一次接触https来说确实是棘手,当然只要你对http有那么一点了解,相信对于https也是不会陌生的,https其全称为(Hyper Text Transfer Protocol over Secure Socket Layer 或 Hypertext Transfer Protocol Secure)也称为“超文本传输协议”,https的创造者是网景通信公司(Netscape Communications Corporation),简称为“网景”,不过好景不长,网景通信公司在1998年11月被美国在线收购。
3https的作用是什么?
https作用简单来讲就是防止网站数据在传输过程中被恶意纂改或截取,也就是它能够建立一个信息安全通道,确保数据传输的安全;另一方面就是可以认证网站的真实性,大家可自行输入已经搭建好https的网站,可查看相关证书,,一般信息保护比较强的行业都会加的,比如金融行业、大型站点等,如下图:

还有就是https需要建立在SSL(Security Socket Layer 加密套接字协议层)的基础上才有效果。
顶一下
(0)
踩一下
(0)