如何在python中为Hadoop Map Reduce作业编写组合器和分区器?我如何在Hadoop Job中调用它

问题描述 投票:0回答:2

如何在python中编写组合器和分区器作业并使用Hadoop Streaming调用它。

hadoop mapreduce
2个回答
0
投票

请看看Pydoop。我没有探讨过这个,但根据文档,

Pydoop Script使您可以在几行代码中使用mapper和reducer函数为Had​​oop编写简单的MapReduce程序。当Pydoop Script不够用时,您可以切换到更完整的Pydoop API,它提供了实现Python Partitioner,RecordReader和RecordWriter的能力。 Pydoop可能不是所有Hadoop用例的最佳API,但其独特的功能使其适用于特定场景,并且正在积极改进。

Here是基于Python的hadoop组合器的SO问题。

附加参考

Reference Link

GitHub Link

另外this link详细介绍了各种其他可用的hadoop-python框架。


0
投票

你可以使用Yelp的MRJob。它很简单,并且有很好的文档,而且我自己也使用它 - 使用与hadoop的Java库相同的接口。是的,它使用的是hadoop流媒体 - 性能可能就是这样。但是,遗憾的是,您仍然需要在Java上编写分区程序。

© www.soinside.com 2019 - 2024. All rights reserved.