WP 站点的 Live Robots.txt 与通过 SFTP 访问的本地 Robots.txt 不同

Question

我有一个托管在 WPEngine 上的 Wordpress 网站，它通过端点充当我们网站的 CMS。

在Wordpress网站上，我安装了YoastSEO插件，并将robots.txt文件编辑为以下内容：

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://[my-site].wpengine.com/sitemap_index.xml

但是，当我导航到 [my-site].com/robots.txt（在隐身模式下或通过 robots.txt 测试器）时，它显示为：

User-agent: *
Disallow: /

为了确保从 Yoast 插件应用更改，我通过 SFTP 访问了 Wordpress 文件，根目录中的 robots.txt 与仪表板上显示的 Yoast 相匹配，

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://[my-site].wpengine.com/sitemap_index.xml

我已经多次清除WP缓存和本地缓存，但实时robots.txt仍然不正确。

为什么这里会有差异？如何强制 WP 环境使用我编辑的 robots.txt 而不是它提供的？

Answer 1

我自己也遇到过这个问题，原因如下：

默认情况下，WP Engine 将搜索引擎的流量限制为任何 使用environment.wpengine.com 域的站点。这意味着搜索 引擎将无法访问当前不在其中的网站 使用自定义域进行生产。

如此处记录：https://wpengine.com/support/read-use-robots-txt/

就我而言，我以 .wpengine.com 作为源实施了 CloudFront CDN。我与 WPEngine 支持人员交谈，他们更改了设置以允许在该域上爬行。