我遇到了这个奇怪的问题，我在谷歌搜索控制台中遇到：失败：Robots.txt 无法访问。
我还注意到页面速度见解无法抓取我的网站。可能是什么原因造成的？我确实有一个 robots.txt，其中包含：
User-agent: *
Allow: /
您可以在这里找到它：https://flitskoning.nl/robots.txt
我的服务器提供商表示他们没有阻止来自谷歌的任何内容或为这些请求设置防火墙。几天前，我能够从 pagespeed Insights 中获得分数，但现在我得到：链接无法解析。
可能是因为 robots.txt，但我不知道从哪里开始解决这个问题。
我安装了 laravel，robots.txt 位于我的 /public 文件夹中。
几天来我也遇到同样非常痛苦的问题。我已致电谷歌广告团队和我的提供商 (strato)。 Strato 表示他们知道这个问题存在并且正在努力解决。
症状：
在 Google Search Console、Google、移动设备友好测试和 Google Ads 平台上测试我的网站时，会返回无法加载我的网站或无法访问 robots.txt 的信息。
我无法启动 GoogleAds 广告系列，因为 GoogleAds 抓取工具无法抓取我的页面...这非常痛苦。
我尝试过但没有任何解决方案：
没有任何作用。这一定是提供商的问题:(