如何在robot.txt文件中阻止此类URL？

Question

这里有两组条件，我想用

/search/jobdescription?

和

search/jobdescription/

阻止所有网址

1. http://<--sitename-->/search/jobdescription?id=0154613&css=a&act=a

2. http://<--sitename-->/search/jobdescription/id/0154613/css/a/act/a

如何阻止 robots.txt 文件中的这两种情况。

Answer 1

很简单：

User-agent: *
Disallow: /search/jobdescription

Answer 2

您还可以使用 X-Robots-Tag HTTP header 来防止索引。