通过对网站日志的分析,我们可以很好的判断网站的健康程度,通过网站日志还可以看到蜘蛛抓取的记录以及用户的操作痕迹。
(一)蜘蛛访问的次数、停留时间以及抓取的数量。
1、单页抓取停留=每次停留/每次抓取
2、平均每次抓取页面数=总抓取量/访问次数
3、平均每次停留时间=总停留时间/访问次数
蜘蛛在我们网站上的活跃,以及我们网站内容抓取的深度等等有效的数据都能得到反映。如果你的网站想要长期发展,建议定期整理出网站数据报表,这样对我们网站的发展也会有着很好的帮助。
(二)了解蜘蛛
很多朋友的网站发布的文章经常不收录,面对这样的情况我们都会想蜘蛛有没有到我们的网站抓取。这时候我们也可以通过网站日 志来看是否有蜘蛛IP的记录就可以了解蜘蛛是否来爬行我们的网站,从而判断是否是我们网站质量的原因导致不收录。并且也可以看出蜘蛛访问我们网站页面的状 态代码,例如说301、503、403等,当出现这样情况的时候,我们尽早做处理,以免成为网站降权的隐患。
(三)抓取
通过日常的日可以看出哪些页面比较受蜘蛛的喜爱,哪些页面蜘蛛喜欢抓取,所以通过分析,我们可以 屏蔽蜘蛛抓取这些没有价值的页面,也有效的提高了我们其他页面权重的传递,并且学习蜘蛛比较喜爱的页面优点来补充其他页面的不足。
(四)统计
通过网站日志,可以很好的看出我们的哪些目录比较受蜘蛛的喜爱,并且哪些页面给予的排名权重较好。从而有效的增加栏目的权重和蜘蛛抓取的程度。对于那些我们不希望蜘蛛抓取的页面,也可以进 行屏蔽。
(五)抓取的时间段。
通过日常日志分析总结中,你会很奇妙的发现一件事,那就是蜘蛛会在每天的一个特定时间内在网站爬行抓取的很活跃,当我们了解到这样的情况,我们就可以再特定的时间去更新网站内容,这个可以更加有效的让蜘蛛抓取我们网站内容,从而达到一个秒收的效果。
如果一个网站想要长久发展的话,站长们一定要学会分析网站日志,从而了解网站每天的健康状况,并且发现异常情况的时候即使改正,这样不仅仅对网 站有很大的帮助,还有效的防止网站因为这些异常引发的降权、被K等现象。