robots.txt curl输出的正则表达式不起作用

Question

curl -s http://hostname/robots.txt

解析所需的输出：

User-Agent: *
Disallow: /
User-Agent: Mediapartners-Google*

我需要拿User-Agent: *并检查它以User-agent开头并以*结尾尝试过curl -s "http://hostname" | grep -i "^User\-Agent:\ \*$"，但一无所获。

Answer 1

解决方案是将输出重定向到另一个文件，并将其转换为UNIX文件。

curl -s http://hostname/robots.txt > /tmp/some_file.txt
dos2unix /tmp/some_file.txt
cat /tmp/some_file.txt | grep -i "^User\-Agent\:\ \*$"