是否有可能不对Google搜索上的某些网页编制索引?
我正在使用WordPress。我听说过robots.txt可以阻止机器人抓取您的网站,但这与索引相同吗?它甚至可能吗?
Web机器人(也称为Web Wanderers,Crawlers或Spiders)是自动遍历Web的程序。谷歌等搜索引擎使用它们来索引网络内容,垃圾邮件发送者使用它们扫描电子邮件地址,还有许多其他用途。
从整个服务器中排除所有机器人
User-agent: *
Disallow: /
从服务器的一部分中排除所有机器人
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/