配置单元查询的Map Reduce工作-如何知道特定reducer的键?

问题描述 投票:0回答:1

我正在尝试调试配置单元查询中的数据偏斜。我需要知道哪个密钥正在发送给偏斜的减速器。

Hive版本:MAPR 6.1平台上的Hive 2.3.3-mapr-1904-r9

到目前为止我尝试过的:

1)搜索纱线日志

2)通过配置单元查询计划进行扫描

请让我知道,是否可以在蜂巢参数中设置任何参数来完成此操作。任何线索或想法都会有所帮助。

hive mapreduce hadoop2 mapr
1个回答
0
投票

您介意提供有关的查询。可能是Join偏斜了。在Tez引擎中,我们不确定查询器是否具有此类图形视图,因此可以将查询路径视为DAg图。但是寻找数据和联接可以改善偏度。

© www.soinside.com 2019 - 2024. All rights reserved.