Baiduspider-render/2.0是百度蜘蛛吗?百度Spider新增渲染抓取UA

浏览: 6,145 次 --

今天,分析IIS日志时发现一个新的蜘蛛Baiduspider-render/2.0,原来是百度新增抓取网站CSS、Javascript和图片信息的蜘蛛,ip是111.206.221.39,通过nslookup命令查看确实是百度蜘蛛,以下是IIS日志内容,大家可以参考一下。

111.206.221.39 – – [04/Apr/2017:20:22:11 +0800] GET/wp-content/uploads/2016/08/11tongji.jpg HTTP/1.1 200 36411 https://www.zhangshushan.com/seoshipin/666.html Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

去看了百度官方的公告,原文如下:

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。
最新UA如下:
PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度官网公告网址:http://ziyuan.baidu.com/wiki/990

百度此次新增渲染抓取UA,主要是抓取css,js,图片信息,以便更智能的判断一个页面的真实内容。如果蜘蛛发现自己看到的是一个版本的内容,而真实访客看到的是另外一个版本内容,网站将会面临被惩罚的风险。