基于Hadoop MapReduce的Web Java Crawler

问题描述 投票:0回答:1

我想使用MapReduce架构实现基于Hadoop Framework的Java爬虫,并在HBase中插入内容。我尝试结合这两个教程:

Basic web crawler example

MapReduce tutorial

但我无法理解这个概念。在哪里放置从页面中提取链接的逻辑? Mapper的输入数据类型是什么?提前致谢

java hadoop mapreduce web-crawler
1个回答
1
投票

只需使用Apache Nutch - 它基于Hadoop并拥有您应该需要的一切以及更多。

© www.soinside.com 2019 - 2024. All rights reserved.