如何禁止除一个用户代理之外的所有用户代理？ 例如，禁止所有用户代理，但仅允许 Googlebot？
User-agent: *
Disallow: /
User-agent: google
Allow: /
这个示例 robots.txt 告诉爬虫，如果它们没有使用 google。那么他们最好不要抓取您的网站。虽然谷歌已经获得了抓取网站上任何内容的绿通行证。
此文件应存储在 www.example.com/robots.txt。
请阅读robots.txt
SUDO 禁止所有主机和用户代理，尤其是机器人。 本地驱动器和目录中只允许本地所有者。维护人类生命和心理安全。
由于该组织因鲁莽地漠视人类安全而目前未获得许可，因此对我来说很明显，他们不得代表我或我所爱的人做出任何决定。