分页处理,是那种平时不显眼、出问题却影响很大的事。我见过一些站,内容不少,但收录上不去,最后查出来是分页把自己坑了。
先说问题的本质。你一个列表页有十页内容,每页 URL 都不一样。搜索引擎爬到第一页,看到一堆链接指向第二页第三页,它很高兴,就接着爬。但爬着爬着你会发现,它大部分预算都花在这些分页上了,真正的内容页反而没进去。更糟的是,有些站的分页参数是动态的,page=1 和 page=01 都能打开同一页内容,这就制造出大量重复页面,把索引撑得乱七八糟。
那怎么处理。老的办法是用 rel 的 next 和 prev,告诉搜索引擎这几页是一条链。这个标准现在谷歌已经不认了,百度那边态度也比较模糊。但用着没坏处,我还是会加上。
现在更推荐的做法,是分页页面的标题描述要做好区分。比如第二页的 title 别跟第一页一模一样,加上「第2页」这样的标识。这样至少避免它们被当成完全重复的内容。
还有一个关键点,分页里的链接要用真实的 a 标签,地址是可直接访问的。有些站图省事,分页用 JS 跳转,点一下换个内容,地址栏都不变。用户觉得挺顺畅,但搜索引擎压根看不到第二页的存在,等于你后面的内容全藏起来了。
我的习惯是,列表页的第一页只做整合,把分类里最优质的内容铺上去。后面的分页,可以在 robots 里适当限制,别让搜索引擎把精力都耗在深翻页上。你要想清楚,用户会翻到第十页吗,多半不会。那搜索引擎翻到第十页的意义也不大。把资源集中在前面几页和内容页,性价比最高。
分页这事儿,核心就一句话,让搜索引擎顺畅地找到你的内容页,别在分页上绕圈。
—— 来自 挖的客 - 优秀网站分类目录 的分享