hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

减少大型查询的执行时间

我的查询需要30多分钟才能处理此查询。它确实适用于非常大的数据集,但是我可能会遗漏一些可以减少执行时间的基本内容。查询适用于许多reducer ...

回答 1 投票 0

根据解释计划,需要帮助重写此查询,该查询多次使用相同的数据集

我们的开发团队运行的查询资源很多,并且在查看解释计划时,看起来它多次使用相同的数据集。无论如何我们可以重写这个......

回答 1 投票 0

无法查询/选择通过Spark SQL插入的数据

我试图将数据插入具有分区的Hive托管表。显示create table输出以供参考。 + ------------------------------------------------- ----------------------------------...

回答 1 投票 0

如何按CONCAT_WS分组

我试图将concat_ws函数运行到group by中,我得到下面的错误。是否意味着Hive不支持concat_ws进入分组?如果没有,是否有不同的方式来写它?我有 ...

回答 5 投票 0

Hive LLAP调优:每个守护程序的内存和堆大小计算

我正在调整我的具有Hive LLAP的集群,根据以下链接,https://community.hortonworks.com/articles/215868/hive-llap-deep-dive.html我需要计算heapsize的值,但不是...

回答 1 投票 0

动态删除hive分区

我有一个每日分区的HIVE表,如下所示(包括未来日期的分区)20160901 20160902 ........ ........ ........ 20160931 20161001 20161002我......

回答 3 投票 0

将数据从aws s3导入mysql或任何非aws数据库

我是新来的。我在csv格式的s3存储桶中有数据。我可以将该数据加载到mysql或hive中。如果没有,你能告诉我一种从s3导入数据到任何其他非aws数据库的方法。谢谢......

回答 1 投票 0

Map-Reduce Logs on Hive-Tez

我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释? INFO之后的界限是什么?这里我附上了一个样本信息:Session已经打开INFO:...

回答 1 投票 2

如何在没有使用“ROW FORMAT DELIMITER”创建配置单元表的情况下将“|”分隔文件加载到配置单元中

我正在尝试使用“|”加载本地文件将分隔值分隔到hive表中,我们通常会创建一个带有选项“ROW FORMAT DELIMITER”|“的表。但我想创建一个普通的表并加载数据。什么......

回答 1 投票 0

将.avro文件中的数据导入hive表

我通过以下命令和avro架构创建了一个hive表。 CREATE TABLE table_name PARTITIONED BY(t string,y string,m string,d string,h string,hh string)ROW FORMAT SERDE'org.apache ....

回答 4 投票 1

如何处理多个重叠数据集?

我有一组数据结构如下:[user_id,title,country,platform,language] [100,'Title A','US','Windows','English'] [100,'Title A' ,'US','Android','English'] [200,'Title C'......

回答 1 投票 0

将数据插入hive表

使用Cygwin发行版,我安装了Hadoop 0.20.3和Hive 0.11.0。首先,我不明白如何使用Hive CLI:hive> show tables;然后输入,没有任何反应。我可以 ...

回答 6 投票 15

Hive cast string到目前为止dd-MM-yyyy

如何将格式为'dd-MM-yyyy'的字符串转换为日期类型,格式为'dd-MM-yyyy'?类似的东西:CAST('12 -03-2010'作为日期'dd-mm-yyyy')

回答 4 投票 16

替换Hive表中所有列的字符

我需要在我的Hive表中的所有列上执行正则表达式替换功能。有没有办法在不调出每列的情况下对所有列执行操作?

回答 2 投票 0

聚合后用蜂巢表读取和写入

我们有一个蜂巢仓库,并希望使用spark来完成各种任务(主要是分类)。有时将结果写回蜂巢表。例如,我们将以下python函数写入...

回答 3 投票 6

© www.soinside.com 2019 - 2024. All rights reserved.