我遇到了快速网址过滤器。它提供了几个选项,例如将过滤器应用于特定域。有人可以查询有关其使用情况的更多详细信息以及如何在url filters.json中配置它?
可以像urlfilters.json一样配置过滤器,就像任何其他过滤器一样
{ "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter", "name": "FastURLFilter", "params": { "file": "fast.urlfilter.json" } }
file参数是可选的,默认采用上面给出的值。
有关详细信息,请参阅JAVADOC,BLOG和WIKI。