何时使用Hive引擎MR以及何时使用TEZ?

问题描述 投票:0回答:1

在什么条件下最好使用Hive引擎TEZ而不是MR?

各自的优点和缺点是什么?

hadoop mapreduce hive apache-tez tez
1个回答
0
投票

TEZ的做法与MR相同,但速度更快。查询越复杂,TEZ的好处就越多。因此TEZ在工作时总是更受欢迎。

Tez通过提供为单个作业执行复杂DAG(有向非循环图)任务的能力,将MapReduce范例概括为更强大的框架。当计划通过map-reduce原语实现时,存在不可避免的作业边界数量,这会导致对持久存储和作业启动的读/写开销,并且可能错过简单的优化机会,例如工作节点重用和温度缓存。

当然,在您的TEZ版本中还有一些问题尚未解决 - 这是您在TEZ上实施某些特定解决方案时可能面临的唯一问题。

尽管MR更为成熟,但Hive-on-MR在Hive 2中已弃用,未来版本可能无法使用。

另请阅读:

Difference between MR and Tez

还有这个:

Introducing Tez

© www.soinside.com 2019 - 2024. All rights reserved.