联系方式 /Contact

咨询热线:

0551-64287617

售后支持:

0551-64238225

传真:

0551-64390832

地址:

中国*安徽省合肥市高新区西二环与望江西路交口西南角亚夏汽车大厦20楼

官方微信 Official:

提高蜘蛛爬行深度及广度的方法

2014-04-01 | 阅13686
分享到:
来源:八度网络 [打印] [关闭]  

我们知道,蜘蛛爬行的深度关乎到我们更深层次页面是否能够被蜘蛛爬行并收录更新,我们网站的每个页面如果都可以别蜘蛛爬行抓取的话,对于网站排名是很有利的。我们平常都会去一些地方引蜘蛛,但是蜘蛛一般会抓取两三层,更深层的页面是需要通过提升网站的权重,布局好网站的层次结构才可以让蜘蛛抓取的更深更广。

今天,给大家简单介绍下,在站内布局上如何提升蜘蛛爬行抓取深度及广度的一些方法。

方法一、网站层次结构要利于蜘蛛爬行,首先得有一个清晰的层次结构。

扁平的树形结构是比较理想的网站结构,蜘蛛能够很好的理解并爬行。采用首页-索引页-内容页的形式有利于用户在最短的时间内找到需求的信息。而且由于相关性极强的内容在同一栏目下,提高了聚合度,这样更有利于蜘蛛的爬行整合。同时,树形结构应该遵循层数尽可能少的原则。如八度网络的网站结构设计方式,从首页到频道页再到文章页是逐次展开,这有利于用户快速获取内容,也易于搜索引擎快速理解并抓取网页内容。

方法二、网站导航、次导航、面包屑网站导航是网站不可或缺的重要组成部分。

采用统一的导航栏不仅有助于用户体验,更有助于蜘蛛识别。由于蜘蛛能有效识别并爬行css。因此,对于导航栏字体使用font-weight属性是有效的。但切勿因为追求效果而采用jsajaxinframeflash等蜘蛛无法有效爬行的技术。次导航同样可以使用font-weight属性表明重要性,而面包屑导航也是必不可少的,要注意尽量避免使用url链接,而更多采用锚文本链接。

方法三、内容页新的内容应尽量出现在蜘蛛频繁更新的地方。

因此,内容页应按ID或发布时间排序。而每篇内容页应和其他页面有效链接。可以在内容结束后加入上一篇、下一篇窜连上下篇文章。同时可以增加相关阅读、推荐阅读等栏目,这样更有助于蜘蛛索引。

方法四、标签、标签云是提高聚合类内容可爬行性的有效途径。

而标签云采用不同颜色、不同大小、不同粗细以区分不同用户关注度的内容。应该说无论从用户体验还是索引的主次都是有益的。但不应为追求标签云效果,而采用jquery等技术,这样就失去了标签云的SEO意义。

方法五、Sitemap文件对于蜘蛛的索引是很重要的。

如果你的站点规模不是很大,请尽量采用xml格式,并放置于根目录下。百度sitemap工具正在内测中,因此暂时无法提交sitemap文件,我们只能采用提交网页的方式,提交新的页面。作为国内搜索引擎市场排名第二的360搜索,是可以提交sitemap文件的。

以上关于提升蜘蛛抓取的5点建议希望对你有所帮助。处理好这些细小的部分,可以让蜘蛛更容易收录我们的页面,提升网站的权重。