百度蜘蛛的重要性不用多说了，站长都希望蜘蛛每天都来，待得时间越长越好，很多刚入门的站长，已经知道学会看日志，看见百度蜘蛛每天都来，甚是欢喜，但是过了好多天，网站也没有收录，就会不知所错，是网站不行还是百度不行？
你看到的也许是假的蜘蛛。基于种种原因，有很多伪造的百度蜘蛛，只要不是采集站，对服务器造成太大压力，一般不会有太大问题（相信新站也不会有人采集，哈哈），其实百度官方早就已经有了说明。
那怎么才能识别正确的百度蜘蛛呢？
1.查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
新增渲染UA:
移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
小程序UA：
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
2.反查IP
站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：
1).在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2).在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以.baidu.com 或.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
3).在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 .baidu.com 或.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
https://ziyuan.baidu.com/college/articleinfo?id=1002
