Googleboot 不断抓取不存在的页面，而不是我的实际页面

Question

我在 6 个月前开始建立我的网站。

• 从我开始到现在已经6个月了。 Googlebot 继续抓取我网站上不存在的页面。 Googlebot 随机生成这些链接。他们每天访问成百上千个。
• 我已经验证它是一个谷歌机器人。
• 从第一天开始，我就给那些不存在的页面留下了 404 标题。
• 6个月后，情况没有一点改变。 Googlebot 仍然以相同的速度抓取不存在的随机生成的页面。

链接不存在页面的结构是mydomain/installa/{random-string}

例子：

mydomain/installa/jfjdk-uru-gy-kfjurru

mydomain/installa/jfj-uru-wed-iehf72

mydomain/installa/dsds-rw3-wwewed-2332jh

请注意，无论是在后端文件夹中还是在站点 url 中，我都没有在我的站点上使用 /installa/ 目录。

问题是当我在我的网站上发布实际帖子时。该帖子将永远被 googlebot 发现索引。

如果我手动将我的帖子提交到谷歌控制台以获得索引，那是一个不同的主题，我的页面被索引了。但我怀疑我所有的问题都属于我描述的上述问题。

任何人都可以帮助我或指出我正在发生的事情的正确方向吗？我的网站上是否存在可能触发 /installa/ 的问题？

是否有任何 Wordpress 插件可用于跟踪 googlebot 如何访问我的网站？

请帮我解决这个问题，这个问题目前似乎影响了我的网站排名。

谢谢

Answer 1

你可能想给这些页面添加一个 noindex 标签。此外，将它们从您的站点地图中删除。

<meta name="googlebot" content="noindex">

Answer 2

我的网站遇到了完全相同的问题。在我的例子中，所有这些随机页面都以 /?在命名方面，所以我们决定通过 Disallow 将它们从 robots.txt 的索引中排除：/?*