配置单元查询的Map Reduce工作-如何知道特定reducer的键？

Question

我正在尝试调试配置单元查询中的数据偏斜。我需要知道哪个密钥正在发送给偏斜的减速器。

Hive版本：MAPR 6.1平台上的Hive 2.3.3-mapr-1904-r9

到目前为止我尝试过的：

1）搜索纱线日志

2）通过配置单元查询计划进行扫描

请让我知道，是否可以在蜂巢参数中设置任何参数来完成此操作。任何线索或想法都会有所帮助。

Answer 1

您介意提供有关的查询。可能是Join偏斜了。在Tez引擎中，我们不确定查询器是否具有此类图形视图，因此可以将查询路径视为DAg图。但是寻找数据和联接可以改善偏度。