robots.txt 这个文件就几行，但写错一行的代价可能是整站从百度消失。我见过好几起这样的事故，都是粗心惹的祸。
最经典的事故，是把 Disallow 写成了 Disallow: / 全站禁止。本来想挡的是后台目录，结果手一抖，整个站都挡了。更坑的是，搜索引擎抓到这个规则之后，会记住一段时间，你改回来它也不一定马上恢复。有人就是这么莫名其妙流量归零的，查了半宿才发现是 robots 的锅。
第二个常见的错，是拿 robots.txt 当保密工具。有些人把敏感目录写进 Disallow，以为这样搜索引擎就看不到。错了。robots.txt 是公开的，谁都能读。你写了 Disallow: /admin，等于告诉全世界我这儿有个后台，快来看。想保密得用密码，不是靠 robots。
第三个错，语法写错。比如 Disallow 后面忘了写路径，写成 Disallow: 空格，那这个规则是无效的。或者把 Allow 和 Disallow 搞反了。这些细节搜索引擎不会报错，它直接忽略你的规则，你以为挡住了，其实门户大开。
还有一个重要的坑，很多人不知道，robots.txt 里的 Disallow 只是禁止抓取，但不禁止收录。也就是说，如果你的页面被别的地方链接了，搜索引擎可能还是会把那个地址收进索引，只是不抓内容，显示的是一句没有摘要的结果。这种情况你得上 noindex。想彻底不被收录，得两个配合着用。
我现在的习惯，改 robots.txt 之前一定先在本地写好，检查三遍，然后看有没有测试工具能跑。有些站长平台提供了 robots 的测试功能，能告诉你会不会误挡。另外一定要注意，robots.txt 要放在根目录，路径是 /robots.txt，放别的地方搜索引擎找不到。
这个文件小，但是分量重。多花五分钟检查，省得事后追悔。
—— 来自 挖的客 - 优秀网站分类目录 的分享