Google 还是将我的域名编入索引了吗？

Question

我有一个像下面这样的 robots.txt，但 Google 仍然为我的域名建立了索引。基本上他们已经索引了 mydomain.com 但没有索引 mydomain.com/any_page

UserAgent: *
Disallow: /

我的意思是我怎样才能回到比我认为是域根的

/

更远的地方？

请注意，该域名正在开发中，因此我不希望 Google 或任何其他搜索引擎看到它。

Answer 1

如果您还没有，请获取一个 Google 网站管理员工具 帐户。它包含一个可能适合您的 URL 删除工具。

当然，这并不能解决搜索引擎可能忽略或误解您的 robots.txt 文件的问题。

如果您确实希望您的网站在发布之前停止播出，那么最好的选择就是实际停止播出。使该网站无法访问，除非使用密码。如果您将HTTP基本身份验证放在文档根目录上，那么搜索引擎将无法索引任何内容，但您将拥有密码的完全访问权限。