URL 参数处理,这几个坑要绕开。全是我自己撞过的。
第一个坑是参数顺序不同被当成不同页面。a=1&b=2 和 b=2&a=1 内容完全一样,但地址不一样。解决办法是服务器端统一排序,或者干脆用 canonical 收敛。
第二个坑是统计脚本自己加参数。utm 那一串,每个来源生成一个新地址,索引库里一下子就多出几十条。robots 里挡掉这些前缀,别让它们被索引。
第三个坑是分页参数无边无际。page=999 也能打开,虽然内容空着返回 200。我的处理是超出范围返回 404,别让爬虫一直翻。
第四个坑是参数里带中文没有编码。有的浏览器自动转,有的不转,结果同一页面两个地址。统一用 urlencode。
最后一个,筛选功能尽量别做成参数。能变成固定路径的就变,比如品牌列表用 /brand/apple 而不是 ?brand=apple。路径好读好记,也少一堆重复页。
—— 来自 挖的客 - 优秀网站分类目录 的分享