新站上线,想要被搜索引擎收录,首先得有蜘蛛来抓取,然后各种操作,各种优化,想了各种方式来提高搜索引擎蜘蛛抓取的次数,结果分析日志,发现这个小蜘蛛还是不勤快,一般情况下网站抓取的频率高,网站的收录情况才会好。
蜘蛛抓取频率的影响因素:
1、网站布局
合理的网站布局可以提升用户体验,并帮助蜘蛛发现新链接,提升收录。
2、内容的原创度
百度现在对内容拼凑、垃圾采集已经有比较高的识别度,想要获得蜘蛛的青睐,源源不断的优质原创内容是很有必要的,优质内容才是网站的根本,如果没有好内容,来再多蜘蛛也是昙花一现。所以要多想想如何提升网站内容质量。
3、外部链接
高质量的外部链接和友情链接也是很重要,一方面可以传递权重,一方面可以让蜘蛛从外部链接爬到自己的网站,增加蜘蛛的抓取。
4、页面加载速度
页面加载速度越来越受到重视,尤其是对移动端的影响特别大,移动端的打开速度建议不要超过3秒。可以通过减少对图片、flash和JS的调用来加快页面打开速度,服务器各项指标的好坏也会影响到页面的访问速度。
5、主动提交
百度现在有api提交、自动推送、sitemap、手动提交四种方式,能用的都用上,主动提交一定比百度蜘蛛自然抓取要快,如果有快速收录的权限有更好了。
6、更新频率
如果蜘蛛每次来网站都没有更新,这样蜘蛛就会减少抓取频率,节省抓取资源。但是如果蜘蛛每次来都能发现新链接,蜘蛛就会根据新的链接爬向新的页面,这样抓取频率就会越来越高。
7、服务器配置
上图是百度站长对抓取频次的说明,下面简单解释一下:Baiduspider会避免对站点的抓取频次过高,造成的服务器不稳定,影响正常用户的访问,百度蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。所以服务器的好坏直接影响的抓取频率。
8、网站权重
高权重的网站,蜘蛛的抓取频率自然高,至于如何提高网站权重,是站内优化和站外优化共同的结果,话题比较大,这里就不啰嗦了。