大家都知道robots.txt 文件在搜索引擎中有着重要作用,正确建立robots.txt 文件的内容可有效的优化magento,防止大量垃圾链接网址被搜索引擎纳入索引,降低了网站的权重。那么如何建立robots.txt 文件呢? 下面是示例文件: # Website Sitemap Sitemap: http://www.mydomain.com/sitemap.xml # Crawlers Setup User-agent: * Crawl-delay: 10 # Allowable Index Allow: …