Magento robots.txt 404s

Question

我安装了 Magento 多站点。我只想禁止我的一家商店，而不是其他商店。我正在尝试利用 Magento 配置上的“默认机器人”选项，因此我将所有商店的默认机器人保留为“Index,Follow”，除了我想禁止的商店，我将其更改为“Noindex,Nofollow” 。但是当我访问 my-URL/robots.txt 时，我收到 404 错误。

知道为什么会出现 404 吗？

有人可以指导我如何制作一个仅禁止该网站的 robots.txt 吗？

Answer 1

此设置只会向您的页面添加元机器人标签，例如

<meta name="robots" content="INDEX,FOLLOW" />

参见：http://www.robotstxt.org/meta.html

Magento 应用程序无法与您的

robots.txt

进行交互