如何阻止 Google 爬虫或任何搜索引擎爬虫等爬虫不索引特定网页中的图像?
防止您网站上的图片出现在 Google 的图片搜索中 结果,将 robots.txt 文件添加到阻止的服务器的根目录 图像。
例如,如果您希望 Google 排除 dogs.jpg 图像, 显示在您的网站上,网址为 www.yoursite.com/images/dogs.jpg,添加 以下是您的 robots.txt 文件:
用户代理:Googlebot-Image 禁止:/images/dogs.jpg
下次 Google 抓取您的网站时,我们会看到此指令并 从我们的搜索结果中删除您的图像。
要从我们的索引中删除您网站上的所有图像,请将 在服务器根目录中添加以下 robots.txt 文件:
用户代理:Googlebot-图像禁止:/
http://support.google.com/webmasters/bin/answer.py?hl=zh-CN&answer=35308
谷歌上的第一个链接
您可以使用通配符来覆盖每个爬虫:
User-agent: *
但是,不能保证任意爬虫都会遵守此文件。