尽管搜索引擎的技术已经十分强大，但是还不完美，很多seo的基础设置还是必须的，错误的设置可能阻止蜘蛛的爬行，影响索引的建立。需要注意seo优化的一些基础设置，以下总结5点，欢迎补充。
1、确保内容可以抓取
Robots.txt 是一个文件，它告诉搜索引擎哪些页面不能抓取，如果你的Robots.txt文件如下图，那就阻止了搜索引擎抓取网站上的每个页面。
User-agent: *Disallow: /
阻止搜索引擎抓取页面的可不是只有Robots.txt文件，meta robots 标签如果这样写，搜索引擎也是无法抓取的。
<meta mane="robots" content="noindex, nofollow">
2、URL的唯一性
内容重复对搜索引擎是很不友好的，比如扬帆号这个网站，使用的是wordpress搭建的，默认的动态网站，做了静态化之后这两个页面是相同的内容，所以要禁止搜索引擎抓取之前的动态页面，以保证搜索引擎不会抓取重复的内容。
3、创建网站地图
制作网站地图是每个做优化的站长必须要做的事，这里也就不再赘述了，反正对于百度就是各种提交，没毛病。如果你使用的是WordPress，有很多的seo插件都可以制作网站地图。制作网站地图的好处是可以有效的解决孤立页面，孤立页面是没有链接指向的内部页面，正常情况搜索引擎很难找到这样的页面。
4、确定首选域
对于普通用户来说，带www和不带www的网站是一样，但是搜索引擎不这样认为，比如，www.haogebiji.com和haogebiji.com是两个域名，如果站长不做任何设置，搜索引擎会默认一个域名作为首选域，结果可能不是你想要的，扬帆号就做了301设置，确定了www.haogebiji.com作为首选域，推荐阅读：网站初期如何选择首选域?首选域怎么设置?
5、确保页面快速加载
加载速度慢的页面对访问者来说很烦人，它影响的不只是用户体验，还影响蜘蛛的抓取，关于网站打开速度可以看下这篇文章：怎么优化网站打开速度？或者如何提升WordPress网站的打开速度？
