每个月都有人问我，服务器日志太大了占硬盘，能不能删。我每次都劝他先别删，那玩意儿是蜘蛛亲自给你写的体检报告，花钱都买不来。
为什么这么说。你想啊，蜘蛛来了会留下记录，它抓了哪些页面、什么时间抓的、返回什么状态码、一共抓了多少次，全在日志里躺着。你把这些数据一整理，马上就能看出问题。
我第一次认真分析日志，就发现一个大问题。那些我自认为很重要的产品页，蜘蛛几乎没碰过。反倒是一个我早就不想要的旧活动页面，被抓了几百次。为什么。因为那个页面挂了个特别显眼的入口链接，蜘蛛每次来都从那儿过。找到原因就好办了，把那个入口改指到新页面去，问题当场解决。这事儿你要是光看后台数据，永远发现不了。
具体怎么分析，我说几个必看的点。第一，看状态码分布。大量的404说明有死链接在浪费蜘蛛时间，大量的301说明跳转链太长。第二，看抓取频次的时段分布。如果蜘蛛总在凌晨两三点来，那你的定时任务最好别排那个点，服务器正忙着，蜘蛛来了碰一鼻子灰。第三，看抓得最多的前二十个 URL。如果这二十个里头一半是垃圾页面，那你的预算肯定浪费了不少。第四，看蜘蛛在你站里待多久。停留时间长不一定是好事，可能是它迷路了，在几个页面之间绕圈子。
还有个小技巧，日志能告诉你蜘蛛到底认不认你的内容更新。你昨天发的新文章，今天日志里有没有它的身影。如果没有，说明你的内容发现通道有问题，要么是 sitemap 没更新，要么是内链没做好。这个反馈速度，比你去后台刷索引量快多了。
我给所有客户建站的第一步，就是先把日志分析的工具链搭起来。哪怕就是个简单的 shell 脚本，每天把关键数据跑一遍存下来，几个月后你回头看趋势，收获会非常大。比如你能看到蜘蛛来访量跟哪次改版有关，能看出哪个板块的内容它最感兴趣，这些规律光靠感觉是摸不出来的。
日志这个东西，删了就没有了，留着还能反复挖。硬盘那点空间，真不值当省。我见过有人图省事每月一删，后来想查三个月前的一次流量波动，什么痕迹都没了，只能从头猜。你说这多耽误事。
—— 来自 挖的客 - 优秀网站分类目录 的分享