无法在 Hive 查询中定义动态参数

问题描述 投票：0回答：2

我正在尝试在 Hive 中设置一些视图，这些视图将日期作为动态参数。在我下面的工作中，我已改用 Select 子句中的 hiveconf 变量，这样我们就可以看到发生了什么，但原理保持不变

根据 this 和 this ，我应该能够在我的 Create View 语句中的“ ${hiveconf:dateRangeFrom}” 中包含一个语句，在运行时提供 hiveconf:dateRangeFrom 变量以获得最大的快乐，但这是只是没有发生 - Hive 似乎正在使用创建视图时分配给变量的任何值并将其硬编码到视图定义中，而不是像您期望的那样在运行时替换它。

我有一个解决方法，我向 sql 文件提供一个参数，然后创建所有视图，替换所需的值，但这不可持续

所有工作都在下面，所以你可以看到我是如何得出这个结论的。有什么想法吗？

1）为简单查询提供 hiveconf 值

（需要是最终查询的日期）

hive -e "Select  ${hiveconf:dateRangeFrom} , unix_timestamp(${hiveconf:dateRangeFrom} , 'yyyy-MM-dd');"  --hiveconf dateRangeFrom='2014-01-01'

日期将按原样返回，并转换为unix时间戳（例如“2014-01-01”=1388534400、“2014-09-12”=41047640）。该脚本可以重复运行，结果会随着参数的变化而变化。

2）创建一个返回此数据的视图

CREATE VIEW get_date AS 
SELECT  ${hiveconf:dateRangeFrom}, unix_timestamp(${hiveconf:dateRangeFrom} , 'yyyy-MM-dd');

这会返回错误：

FAILED: ParseException line 2:8 cannot recognize input near '$' '{' 'hivevar' in  select clause

大概是因为它正在尝试进行替换，但此时 ${hivevar:dateRangeFrom} 变量尚未初始化

根据： 使用参数在 Hive 中创建视图 和 http://mail-archives.apache.org/mod_mbox/hive-user/201205.mbox/%[email protected]%3E

然后可以在 Hive 视图中使用变量，只要在变量周围使用引号即可：

CREATE VIEW get_date AS 
SELECT  "${hiveconf:dateRangeFrom}", unix_timestamp("${hiveconf:dateRangeFrom}" , 'yyyy-MM-dd');

这允许创建视图，因此尝试使用参数调用视图：

hive -e "Select  * from get_date"  --hiveconf dateRangeFrom='2014-01-01'

仅返回变量名称：

${hiveconf:dateRangeFrom}       NULL
    Time taken: 20.614 seconds, Fetched: 1 row(s)

使用单引号代替：

DROP VIEW get_date;
CREATE VIEW get_date AS 
SELECT  '${hiveconf:dateRangeFrom}', unix_timestamp('${hiveconf:dateRangeFrom} ', 'yyyy-MM-dd');

给出相同的结果，只是变量名称。

3）在已设置变量的交互式会话中创建视图

SET hiveconf:dateRangeFrom="2014-02-01";

重建原始视图，变量不带引号

DROP VIEW get_date;
CREATE VIEW get_date AS 
SELECT  ${hiveconf:dateRangeFrom}, unix_timestamp(${hiveconf:dateRangeFrom} , 'yyyy-MM-dd');

然后调用“select * from get_date;”会话内给出了预期的结果。

与从命令行调用一样，具有相同的参数值：

hive -e "Select  * from get_date;"  --hiveconf dateRangeFrom='2014-02-01'

但是，如果我们使用不同的参数调用视图，那么我们仍然得到原始答案：

hive -e "Select  * from get_date;"  --hiveconf dateRangeFrom='2014-09-12'

    2014-02-01      1391212800
    Time taken: 24.773 seconds, Fetched: 1 row(s)

如果我们在新会话中设置变量：

SET hiveconf:dateRangeFrom="2014-06-01";

或者甚至不设置全部，我们仍然得到相同的结果

查看扩展视图定义，原因很明显：

hive> describe extended get_date;
OK
_c0                     string
_c1                     bigint

Detailed Table Information      Table(tableName:get_date, dbName:default, owner:
36015to, createTime:1410523149, lastAccessTime:0, retention:0, sd:StorageDescrip
tor(cols:[FieldSchema(name:_c0, type:string, comment:null), FieldSchema(name:_c1
, type:bigint, comment:null)], location:null, inputFormat:org.apache.hadoop.mapr
ed.SequenceFileInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveSequen
ceFileOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:nu
ll, serializationLib:null, parameters:{}), bucketCols:[], sortCols:[], parameter
s:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValu
eLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[], parameters:{
transient_lastDdlTime=1410523149}, ***viewOriginalText:SELECT  "2014-02-01", unix_t
imestamp("2014-02-01" , 'yyyy-MM-dd'), viewExpandedText:SELECT  "2014-02-01", un
ix_timestamp("2014-02-01" , 'yyyy-MM-dd')***, tableType:VIRTUAL_VIEW)
Time taken: 0.123 seconds, Fetched: 4 row(s)

变量替换在创建视图时发生，并将该日期硬编码到定义中：

查看原始文本：选择“2014-02-01”，unix_t imestamp("2014-02-01" , 'yyyy-MM-dd'), viewExpandedText:SELECT "2014-02-01", un ix_timestamp("2014-02-01" , 'yyyy-MM-dd')

4）关闭变量替换

Hive 显然在运行时输入了变量的当前值，所以我尝试将其关闭并重新创建查询：

hive> set hive.variable.substitute;
hive.variable.substitute=true
hive> set hive.variable.substitute = false;
hive> set hive.variable.substitute;
hive.variable.substitute=false

Create View 语句仍然失败并出现相同的错误：

FAILED: ParseException line 2:8 cannot recognize input near '$' '{' 'hiveconf' in select clause

5）解决方法

如果我们创建一个用于创建视图的 sql 文件 testParam.sql，我们就可以解决这个问题：

DROP VIEW get_date;
CREATE VIEW get_date AS
SELECT  ${hivevar:dateRangeFrom}, unix_timestamp(${hivevar:dateRangeFrom} , 'yyyy-MM-dd');
SELECT * FROM get_date;

从命令行调用它会给出预期的结果：

hive -f testParam.sql --hiveconf dateRangeFrom='2014-08-01'
2014-08-01      1406847600
Time taken: 20.763 seconds, Fetched: 1 row(s)


hive -f testParam.sql --hiveconf dateRangeFrom='2014-09-12'
2014-09-12      1410476400
Time taken: 19.74 seconds, Fetched: 1 row(s)

这确实有效，而且目前还不错，但对于分布式多用户环境来说并不理想。查看视图元数据，我们可以看到视图总是被销毁并使用最新参数重建：

transient_lastDdlTime=1410525287}, viewOriginalText:SELECT  '2014-09-12', unix_timestamp('2014-09-12' , 'yyyy-MM-dd'), viewExpandedText:SELECT  '2014-09-12', unix_timestamp('2014-09-12' , 'yyyy-MM-dd'), tableType:VIRTUAL_VIEW)

那么，如何创建一个可以在运行时提供动态参数而无需不断重建的视图

hadoop hive
2个回答
0
投票

如何定义 daterangeFrom？我认为可以通过根据您的要求添加和减去天数来从 current_date 函数动态生成日期范围。您可以简单地使用 hive 函数来实现这一点。

0
投票

我不知道这是否是您正在寻找的！ 如果您从 bash 脚本传递值，这应该可以完成工作：

dateRangeFrom=$(date +"%Y-%m-%d")
hive -e "Select  '${dateRangeFrom}' , unix_timestamp('${dateRangeFrom}' , 'yyyy-MM-dd');"

如果你想在 hive 脚本本身中设置值，你可以这样做

hive -e "SET hivevar:dateRangeFrom=2017-11-21;USE mydb; Select  '${dateRangeFrom}' , unix_timestamp('${dateRangeFrom}' , 'yyyy-MM-dd');"

如果你想将相同的 hive 查询存储在 HQL 文件中并在外部运行它，那么你需要像这样传递它

hive -f /abc/user/script.hql --hivevar dateRangeFrom=2017-11-21
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.