Magento本身会生成很多文件,URLs,其中一部分完全不必要被搜索引擎索引,你需要设置一个robots.txt文件。 下面提供一个最适合Magento的robots.txt文件: # $Id: robots.txt,v magento-specific 2010/28/01 18:24:19 goba Exp $ # # robots.txt # # This file is to prevent the crawling and indexing of certain parts # of your site…