Hive解释计划理解

问题描述 投票:4回答:1

是否有任何适当的资源可以让我们完全理解hive生成的解释计划?我尝试在Wiki中搜索它,但是找不到完整的指南来理解它。这是Wiki,它简要说明了解释计划的工作原理。但是我需要有关如何推断解释计划的更多信息。https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

hadoop hive hiveql sql-execution-plan explain
1个回答
0
投票

我将尽力向我解释我所知道的。

执行计划是对查询所需任务的描述,执行它们的顺序以及每个任务的一些详细信息。要查看查询的执行计划,您可以执行此操作,在查询前面加上关键字EXPLAIN,然后运行它。执行计划可能很长而且很复杂。充分理解它们需要对MapReduce的深入了解。

示例

EXPLAIN CREATE TABLE flights_by_carrier AS 
SELECT carrier, COUNT(flight) AS num 
FROM flights 
GROUP BY carrier;

此查询是CTAS语句,它创建一个名为flight_by_carrier的新表,并使用SELECT查询的结果填充该表。SELECT查询按航空公司对航班表的行进行分组,并返回每个航空公司以及该航空公司的航班数量。

示例的HIVE的EXPLAIN语句的输出显示在这里

+----------------------------------------------------+--+
|                      Explain                       |
+----------------------------------------------------+--+
| STAGE DEPENDENCIES:                                |
|   Stage-1 is a root stage                          |
|   Stage-0 depends on stages: Stage-1               |
|   Stage-3 depends on stages: Stage-0               |
|   Stage-2 depends on stages: Stage-3               |
|                                                    |
| STAGE PLANS:                                       |
|   Stage: Stage-1                                   |
|     Map Reduce                                     |
|       Map Operator Tree:                           |
|           TableScan                                |
|             alias: flights                         |
|             Statistics: Num rows: 61392822 Data size: 962183360 Basic stats: COMPLETE Column stats: NONE |
|             Select Operator                        |
|               expressions: carrier (type: string), flight (type: smallint) |
|               outputColumnNames: carrier, flight   |
|               Statistics: Num rows: 61392822 Data size: 962183360 Basic stats: COMPLETE Column stats: NONE |
|               Group By Operator                    |
|                 aggregations: count(flight)        |
|                 keys: carrier (type: string)       |
|                 mode: hash                         |
|                 outputColumnNames: _col0, _col1    |
|                 Statistics: Num rows: 61392822 Data size: 962183360 Basic stats: COMPLETE Column stats: NONE |
|                 Reduce Output Operator             |
|                   key expressions: _col0 (type: string) |
|                   sort order: +                    |
|                   Map-reduce partition columns: _col0 (type: string) |
|                   Statistics: Num rows: 61392822 Data size: 962183360 Basic stats: COMPLETE Column stats: NONE |
|                   value expressions: _col1 (type: bigint) |
|       Reduce Operator Tree:                        |
|         Group By Operator                          |
|           aggregations: count(VALUE._col0)         |
|           keys: KEY._col0 (type: string)           |
|           mode: mergepartial                       |
|           outputColumnNames: _col0, _col1          |
|           Statistics: Num rows: 30696411 Data size: 481091680 Basic stats: COMPLETE Column stats: NONE |
|           File Output Operator                     |
|             compressed: false                      |
|             Statistics: Num rows: 30696411 Data size: 481091680 Basic stats: COMPLETE Column stats: NONE |
|             table:                                 |
|                 input format: org.apache.hadoop.mapred.TextInputFormat |
|                 output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
|                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
|                 name: fly.flights_by_carrier       |
|                                                    |
|   Stage: Stage-0                                   |
|     Move Operator                                  |
|       files:                                       |
|           hdfs directory: true                     |
|           destination: hdfs://localhost:8020/user/hive/warehouse/fly.db/flights_by_carrier |
|                                                    |
|   Stage: Stage-3                                   |
|       Create Table Operator:                       |
|         Create Table                               |
|           columns: carrier string, num bigint      |
|           input format: org.apache.hadoop.mapred.TextInputFormat |
|           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat |
|           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
|           name: fly.flights_by_carrier             |
|                                                    |
|   Stage: Stage-2                                   |
|     Stats-Aggr Operator                            |
|                                                    |
+----------------------------------------------------+--+

阶段依赖性

示例查询将在阶段0到阶段3的四个阶段中执行。每个阶段可以是MapReduce作业,HDFS操作,元存储操作或Hive服务器执行的某些其他操作。

编号并不表示执行顺序或依存关系。

阶段之间的依赖关系决定了它们必须执行的顺序,并且Hive在EXPLAIN结果的开头明确指定了这些依赖关系。

根阶段,如本例中的Stage-1,没有依赖关系,可以先运行。

非根目录阶段无法运行,直到它们所依赖的阶段完成为止。

阶段计划

输出的阶段计划部分显示了阶段的描述。对于Hive,请从顶部开始然后向下阅读它们。

Stage-1被标识为MapReduce作业。

查询计划显示,此作业包括映射阶段(由映射运算符树描述)和归约阶段(由归约运算符树描述)。在地图阶段,地图任务会读取排期表并选择承运人和排期列。

此数据被传递到简化阶段,在此阶段,简化任务按承运人对数据进行分组,并通过计算航班数对其进行汇总。

在阶段1之后是阶段0,这是HDFS动作(移动)。

在此阶段,Hive将上一阶段的输出移至HDFS仓库目录中的新子目录。这是新表的存储目录,它将被命名为flight_by_carrier。

在阶段0之后是阶段3,这是一个metastore动作:

创建表。

在此阶段,Hive在运行数据库中创建了一个名为flight_by_carrier的新表。该表有两列:名为carrier的STRING列和名为num的BIGINT列。

最后阶段,第二阶段,收集统计数据。

此最后阶段的细节并不重要,但它会收集信息,例如表中的行数,在HDFS中存储表数据的文件数以及表中每一列的唯一值数。 。这些统计信息可用于优化Hive查询。

我希望上面的示例可以使本主题有所澄清。

问候

© www.soinside.com 2019 - 2024. All rights reserved.