关于抓取预算分配,具体怎么做,我说几个我实际动过手的地方。
先搞清楚现状。我把服务器日志按天统计,看机器人访问的总次数、落在哪些目录、哪些页面被抓了多次。第一次看就发现,「标签」页被抓得比文章页还多,可那些页面几乎没流量。
然后是减少浪费。标签页、日期归档、搜索页、打印页这些东西,要么挡掉,要么加 noindex。我做的时候手抖挡多了一点,把标签页全挡了,后来发现标签页对内容串联有用,就恢复了有内容的那几个。
接着是引导爬虫走对路。sitemap 只放真正重要的地址,站内链从首页和栏目到文章的路径要清晰,别让重要页面只靠深层内链被发现。
最后是看效果,别凭感觉。改完一个月再统计一遍,重点看新文章多久被抓。我的新文章从平均两周缩到三天左右。
预算这东西不会因为你想争取就变多,能做的只是把力气用在刀口上。
—— 来自 挖的客 - 优秀网站分类目录 的分享