影响蜘蛛抓取的因素有哪些?

影响蜘蛛抓取的因素有哪些?影响蜘蛛抓取的因素有哪些?

做网站一定要了解蜘蛛,要知道它喜欢什么,不喜欢什么,下面总结一下哪些特征对蜘蛛不友好,希望对于大家能所帮助。

1、url不规范

url过长、url含有特殊字符都会影响蜘蛛爬取。

2、死链

通俗的讲,死链就是无法打开的链接。搜索引擎蜘蛛如果在网站内爬行,发现大量页面无法打开,会影响对网站的信任度,影响排名。

3、各种跳转

连续的跳转可能会终止蜘蛛爬行,因为这往往被黑帽seo所利用,从而导致搜索引擎蜘蛛对其比较敏感。

4、flash动画

很多网站都会在页面上添加flash动画,但是搜索引擎蜘蛛说到底只是一个程序,它不能像人一样观看flash动画的内容。虽然搜索引擎一直在这方面努力,但是以目前的搜索引擎蜘蛛技术还不能完全有效的抓取flash的内容。

另外,如果在网站上出现了flash动画,搜索引擎都建议添加相应的文字描述,以便搜索引擎蜘蛛较直观的了解flash动画内容。

5、js代码

搜索引擎蜘蛛对抓取js代码也是比较困难的,大量的js代码会严重影响搜索引擎蜘蛛抓取的速度。所以,网站seo优化时要尽量避免,或者少用js代码。

6、必须登录浏览网站。很多网站有部分甚至全部内容需要注册登陆后才能浏览,大部分社会化媒体(如sns网站、微博等)即是如此。但是搜索引擎蜘蛛不会填写用户名密码,更不会注册。

7、强制使用cookies

搜索引擎蜘蛛实际是禁用cookies的,如果不启用cookies就无法正常显示内容的话,搜索引擎蜘蛛就无法看见网页的内容。

8、不稳定的服务器

如果网站因为服务器的问题经常性的无法正常访问,久而久之,搜索引擎蜘蛛爬到你的域名上却时常“碰壁”,搜索引擎蜘蛛自然而然的就会认为这个网站不靠谱。如此一来,网站也将失去搜索引擎蜘蛛的信任。

9、网站结构确保网站有一个良好的逻辑结构,想要网站对搜索引擎友好必须遵循3次点击可以达到网站任何页面的网站结构设计原则,并且站点的URL尽量规范化。

10、网站的打开速度慢网站的打开速度非常重要,对于一般的网站蜘蛛是不会24小时都在的,所以保证良好的网站结构前提下,要在固定的时间让蜘蛛抓取更多的页面。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫

相关推荐