要在Crawler4j中关闭3个正在运行的搜寻器的特定搜寻器吗？

Question

我有多个同时运行的搜寻器

例如

抓取工具1

-crawler 2

-crawler 3

我的问题是：如果我只想关闭2号搜寻器，该怎么办？

我想像一下crawler4j中的每个爬虫都有一个会话ID，我可以在请求其ID时将其关闭

我该如何实施？

Answer 1

您必须将搜寻器包装在CrawlController实例中：

CrawlController controller = new CrawlController(config,..);
controller.startNonBlocking(BasicCrawler.class, numberOfCrawlers);

Thread.sleep(30 * 1000);
controller.shutdown(); // shutdown crawling
controller.waitUntilFinish();

完整的示例，您会找到here