手机小菜的博客

最近小菜发现360搜索引擎收录了大量的评论连接，与原文形成了重复收录，这样可能被引擎惩罚。手机小菜博客收录出现的评论链接是形如comment-page-1和?replytocom=这样的。小菜在网上查了下，wordpress一直有这样的问题，解决方法一般都是用robots.txt文件来引导搜索引擎不收录评论链接。

先在根目录下新建robots.txt文件（已经有的就直接添加下面的代码）
写入如下代码
User-agent: *
Disallow: /*/comment-page
Disallow: /*?replytocom=
保存即可，生效需要一段时间。

这样就可以引导蜘蛛不去爬取评论链接，那些已经被搜索引擎收录的评论链接也会自动删除。