索引覆盖率怎么判断?我最开始只看看总量涨没涨,涨了就觉得没问题。后来发现总量涨了,但重要的页面一直没进去,纯粹是被一堆垃圾页撑起来的数字。
现在我看三个数。第一个是新增页面的收录时间,我的经验是文章发出去两三周内该有记录,超过一个月还没收,说明有问题。第二个是有效页面的收录比例,我会在后台按栏目抽样,五十页里进了多少,比例低于一半就要回头查。第三个是「已发现未抓取」的数量,这个数字大,通常是内链不够或者抓取预算被摊薄了。
判断完还要找原因。我遇到过一整批文章不收录,最后发现是发布时间全部一样,排序完全乱掉,爬虫每次进来看到的列表顺序都不同,以为页面老在变。把时间拉开就正常了。
另一种常见原因是内容太少。三百字以下又没什么独特信息的页面,进去也没意义,这种我索性合并到主页面里,宁可少一点页面。
—— 来自 挖的客 - 优秀网站分类目录 的分享