如果我将 robots.txt 文件中的用户代理留空会怎样。
基本上是这样的： 用户代理：*
禁止：/特定页面
但是如果是这样呢：
用户代理：
User-agent: * 同时指定所有搜索引擎的所有机器人的指令
或者，如果您想指定特定搜索引擎，请使用 用户代理：Googlebot
因此，如果您不指定星号，搜索机器人有可能无法理解后面的名称