如何建设符合搜索引擎抓取习惯的网页

摘要： 网站获得排行较基本的要求就是要被搜索引擎抓取到网站页面的内容，树立符合搜索引擎抓取习惯的网站就成了网站基础中的要点。随着这两年baidu搜索引擎每周对网站数据更新，不断有SEOer抛出对搜索引擎新的算法的一些猜想，baidu站长渠道也会在baidu大的算法出台前会在站长渠道给各站长一个预热，让靠作弊手段做排行的站长也好有个网站被处分的心理准备。近日baidu站长渠道给出了自己的标准，文中介绍了如何建立网站是符合搜索引擎抓取系统习惯的。

1、简单明了的网站结构

Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量spider的可读性。

（1）树型结构较优的结构即“*页—频道—详情页”；

（2）扁平*页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重。

（3）网状每个页面都至少有一个文本链接指向，可以使网站尽可能的被抓取收录，内链建设同样对排序能够产生积极作用。

（4）导航为每个页面加一个导航方便用户知晓所在路径。

（5）子域与目录的选择相信有大批的站长对此有疑问，在我们看来，当内容较少并且内容相关度较高时建议以目录形式来实现，有利于权重的继承与收敛；当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。

2、简洁美观的url规则

（1）先进性网站中同一内容页只与先进一个url相对应，过多形式的url将分散该页面的权重，并且目标url在系统中有被滤重的风险；

（2）简洁性动态参数尽量少，url尽量短；

（3）美观性使得用户及机器能够通过url即可判断出页面内容的主旨；

我们推荐如下形式的url：url尽量短且易读使得用户能够快速理解，例如使用拼音作为目录名称；同一内容在系统中只产生先进的url与之对应，去掉无意义的参数；如果无法url的先进性，尽量使不同形式的url301到目标url；防止用户输错的备用域名301至主域名。

3、其他注意事项

（1）不要忽略倒霉的robots文件，默认情况下部分系统robots是封禁搜索引擎抓取的，当网站建立后及时查看并书写合适的robots文件，网站日常维护过程中也要注意定期检查；

（2）建立网站sitemap文件、死链文件，并及时通过百度站长平台进行提交；

（3）合理利用站长平台提供的robots、sitemap、索引量、抓取压力、死链提交、网站改版等工具。

（4）部分电商网站存在地域跳转问题，有货无货建议统一做成一个页面，在页面中标识有无货即可，不要此地区无货即返回一个无效页面，由于spider出口的有限性将造成正常页面无法收录。

其实每次搜索引擎算法的改动都是在完善自身算法的同时让排行结果变的更真实、公平，有更好的用户体验，让更能满意用户需求的网站排在前面，体现搜索引擎的价值。满意用户需求是站长在供给网站内容的需要做的，而搜索引擎算法毕竟是命令语言，还未达到超智能的区分水准，因而站长同志们还需要把自己的网站建的更符合搜索引擎的算法技术标准。