我在api.website.com上有api，不需要身份验证。
我正在寻找一种方法来禁止谷歌索引我的api。
有办法吗？
我已经在我的机器人api.website.com/robots.txt中禁用，但这只是阻止谷歌抓取它。
User-agent: *
Disallow: /
通常的方法是删除Disallow并添加一个noindex元标记，但它是一个API，因此没有元标记或任何东西。
还有其他办法吗？
似乎有一种方法可以在api调用上添加noindex。
在这两个页面上推荐的解决方案是向您不希望编入索引的页面添加noindex元标记。 （X-Robots-Tag HTTP标头也适用于非HTML页面。但我不确定它是否适用于重定向。）矛盾的是，这意味着您必须允许Googlebot抓取这些页面（通过删除它们完全来自robots.txt，或者为Googlebot添加一组单独的，更宽松的规则，因为否则它首先看不到元标记。
奇怪的是谷歌忽略了你的/robots.txt文件。尝试在根网站目录中删除index.html文件，并在网页的<head>...</head>标记之间添加以下内容。
<meta name="robots" content="noindex, nofollow">