索引覆盖率,新手最容易中招的地方是只看总数。
我刚做站那会儿,后台显示收录量一直在涨,我心里挺美。结果认真翻一遍,涨的全是筛选页和带参数的重复地址,真正有内容的文章一堆还在外面。总数好看的代价是把抓取预算用完了。
现在我先分层看。文章、栏目、标签页分别统计收录率,比例最低的那一类才是问题。我的文章页曾经只有四成被收,查下来是列表页只显示最新二十篇,老文章没有别的入口,几乎不可能被发现。加了归档页面之后才慢慢好转。
第二看「已发现未抓取」。这个数字大,说明它知道有页面但不愿意来,通常是内链太少或者那批页面看着不重要。
第三看新页面进库速度。我要求自己发文后一个月内检查一次,没进的就补内链。
判断标准别设成满分,站里总会有一些不该被收的页面,不收反而对。
—— 来自 挖的客 - 优秀网站分类目录 的分享