我应该在1.x,2.2和0.23中选择哪个hadoop版本

问题描述 投票:1回答:2

您好,我是Hadoop的新手,对版本名称感到困惑,在1.x(强大的支持和学习资源),2.2或0.23中应该使用哪个版本名称。

我已经读过hadoop从v0.23( link1 )完全移到了YARN。
但是与此同时,hadoop v2.0已遍及整个网络,并且正在迁移到YARN( link2 ),我可以在Hadoop 2.2本身中看到YARN配置文件。

  • 但是由于0.23似乎是我的最新版本,因此2.2是否还支持YARN? (请参阅链接1,它说hadoop从v0.23开始将支持YARN)
  • 作为初学者,我应该选择哪个版本1.x或2.x以了解hadoop的观点。
  • 最新版本的hadoop是否可以使用其他与hadoop兼容的技术,例如pig,hive等?

谢谢。

更新
谢谢大家的答复。 我最终使用了hadoop2.2,由于所有著名的教程和资源都已过时,尽管我找到了一本很好的书来开始使用v2.2。

Tom White的“ Hadoop:权威指南,第三版”( 在此处购买

支持hadoop v2.2。

源代码在github https://github.com/tomwhite/hadoop-book上给出

如在github上提到的,本书的代码经过测试

This version of the code has been tested with:
 * Hadoop 1.2.1/0.22.0/0.23.x/2.2.0
 * Avro 1.5.4
 * Pig 0.9.1
 * Hive 0.8.0
 * HBase 0.90.4/0.94.15
 * ZooKeeper 3.4.2
 * Sqoop 1.4.0-incubating
 * MRUnit 0.8.0-incubating

希望能帮助到你..!!!

hadoop hadoop2
2个回答
3
投票

有一些活动的发行系列。 1.x版本系列是0.20版本系列的延续。 0.23发布几周后,以前称为0.20.205的0.20分支重新编号为1.0。 在0.20.205和1.0之间几乎没有功能差异。 这只是重新编号。

0.23包括几个主要的新功能,包括新的MapReduce运行时(称为MapReduce 2),该运行时在称为YARN(又是另一个资源协商程序)的新系统上实现,该系统是用于运行分布式应用程序的常规资源管理系统。 同样,2.x版本是0.23版本系列的延续。 因此2.2也支持YARN。

根据Hadoop 2.2发行说明

  • 1.2.X-当前稳定版本1.2发行

  • 2.2.X-当前稳定的2.x版本

  • 0.23.X-与2.XX类似,但缺少NN HA。

我建议您从开始学习Cloudera发行版开始。 CDH 4.5包含您要寻找的YARN功能。 您也可以尝试HortonWorks发行版。 与这些供应商合作的好处是,您无需担心可以与Hadoop安装一起使用的组件(例如Hive,Pig)的哪个版本。


1
投票

我建议您从hadoop-2.2.0开始,它具有丰富的知识。 工业界更喜欢YARN本身,并且在生产中仅2.x

© www.soinside.com 2019 - 2024. All rights reserved.