重复内容这事儿，最麻烦的不是跟别人重复，是自己跟自己重复。站内的重复，是自己给自己挖坑。
站内重复是怎么来的。最常见的是 URL 层面的。同一个页面，带 www 和不带 www 都能访问，末尾带斜杠和不带斜杠都能访问，大小写不同也能访问。这些在服务器看来是不同的地址，但在用户和搜索引擎看来是同一个页面。你要是没做规范化，搜索引擎就会把它们当成几个独立的页面，权重被劈开，还可能判定为重复内容。
第二种是内容层面的。同一个商品，从不同分类进去有不同的地址，内容是一样的。同一批内容，既出现在列表页又出现在标签页又出现在专题页。这些页面内容高度重复，却有不同的 URL，也是麻烦。
第三种，分页的重复。第一页和第二页如果标题描述都一样，只有内容顺序不同，也容易被判定为重复。
怎么解决。URL 层面的重复，靠规范化和跳转解决。统一用带 www 或者不带 www，统一末尾带不带斜杠，做好大小写规范，然后其他变体都 301 到规范版本。内容层面的重复，靠 canonical 解决。同内容不同地址的页面，挑一个主版本，其他的都指向它。标签页、专题页这种聚合型的页面，如果内容重复度高，可以设成 noindex，只让它们承担导航功能，不参与收录。
还有个技巧，就是定期给自己的站做一次重复内容检查。有些工具能跑出来，找出内容相似度超过一定比例的页面组。发现了就处理，别放任。
我自己的经验是，站内重复在早期不容易发现，因为页面少，看不出问题。等站做大了，几十上百个页面内容互相缠在一起，处理起来就费劲了。所以我建议，从建站之初就把 URL 规范和 canonical 规则定死，后面就不用操心这事了。
—— 来自 挖的客 - 优秀网站分类目录 的分享