我想使用MapReduce架构实现基于Hadoop Framework的Java爬虫,并在HBase中插入内容。我尝试结合这两个教程:
Basic web crawler example
MapReduce tutorial
但我无法理解这个概念。在哪里放置从页面中提取链接的逻辑? Mapper的输入数据类型是什么?提前致谢
只需使用Apache Nutch - 它基于Hadoop并拥有您应该需要的一切以及更多。