hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

Matplotlib小时分钟直方图

jupyter notebook 5.2.2 Python 3.6.4 pandas 0.22.0 matplotlib 2.2.2嗨我正在尝试根据从hadoop检索的小时和分钟日志数据在jupyter笔记本中呈现和格式化直方图...

回答 1 投票 0

如何根据表中的数据获取镶木地板文件名

我试图找出许多镶木地板文件中的哪一个是存储在表中的数据,用于特定的日期条件集。例如:从表中选择文件名,其中dateCol ='1-1-2010'; ...

回答 1 投票 1

数据帧字符串到Hive表Bigint - 如何转换

Spark:1.6,Scala,Hive我有一个数据帧DF.printschema root | - rundatetime:string(nullable = true)| - day_cunt:String(nullable = true)| - my_key:integer(nullable = true)DF。节目() ...

回答 1 投票 0

Hive Join查询在每行中添加\ n

在Hive中,我使用Left Outer Join连接2个表。加入后,我可以在每行的末尾看到'\ n'。我的查询看起来像SELECT o1.merchantid,o1.countriesvrnstatus,o1 ....

回答 1 投票 0

hive通过regexp_extract从字典串中提取密钥?

我想从下面的表中提取一个列中的键{“agya”:3,“桶”:1,“tronton”:0,“tasikmalaya”:4,“tanja”:2} {“afifah “:3,”sctv“:10,”samuel zylgwyn“:2,”naysila mirdad“:0,”......

回答 2 投票 1

在hive中使用数字比较连接查询

我在TEMP.total_labor_hours> =(.95 * M.MAX_HOURS)时遇到以下hive查询的问题,请建议我如何重写它`SELECT BAC,COUNTRY_CD,COUNT(*)FROM ...

回答 1 投票 0

如何使用Hive摆脱URL中的查询?

我有几百万个网址可以是这样的:www.wikipedia.com/helloworld?somekey=published_links&otherkey=1 www.wikipedia.com/helloworld?wowkey=20005 www.wikipedia.com/helloworld我想......

回答 1 投票 0

Hive在哪里存储HDFS中的文件?

我想知道如何找到Hive表与它们所代表的实际HDFS文件(或更确切地说,目录)之间的映射。我需要直接访问表文件。 Hive在哪里存储......

回答 11 投票 63

减少大型查询的执行时间

我的查询需要30多分钟才能处理此查询。它确实适用于非常大的数据集,但是我可能会遗漏一些可以减少执行时间的基本内容。查询适用于许多reducer ...

回答 1 投票 0

根据解释计划,需要帮助重写此查询,该查询多次使用相同的数据集

我们的开发团队运行的查询资源很多,并且在查看解释计划时,看起来它多次使用相同的数据集。无论如何我们可以重写这个......

回答 1 投票 0

无法查询/选择通过Spark SQL插入的数据

我试图将数据插入具有分区的Hive托管表。显示create table输出以供参考。 + ------------------------------------------------- ----------------------------------...

回答 1 投票 0

如何按CONCAT_WS分组

我试图将concat_ws函数运行到group by中,我得到下面的错误。是否意味着Hive不支持concat_ws进入分组?如果没有,是否有不同的方式来写它?我有 ...

回答 5 投票 0

Hive LLAP调优:每个守护程序的内存和堆大小计算

我正在调整我的具有Hive LLAP的集群,根据以下链接,https://community.hortonworks.com/articles/215868/hive-llap-deep-dive.html我需要计算heapsize的值,但不是...

回答 1 投票 0

动态删除hive分区

我有一个每日分区的HIVE表,如下所示(包括未来日期的分区)20160901 20160902 ........ ........ ........ 20160931 20161001 20161002我......

回答 3 投票 0

将数据从aws s3导入mysql或任何非aws数据库

我是新来的。我在csv格式的s3存储桶中有数据。我可以将该数据加载到mysql或hive中。如果没有,你能告诉我一种从s3导入数据到任何其他非aws数据库的方法。谢谢......

回答 1 投票 0

Map-Reduce Logs on Hive-Tez

我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释? INFO之后的界限是什么?这里我附上了一个样本信息:Session已经打开INFO:...

回答 1 投票 2

如何在没有使用“ROW FORMAT DELIMITER”创建配置单元表的情况下将“|”分隔文件加载到配置单元中

我正在尝试使用“|”加载本地文件将分隔值分隔到hive表中,我们通常会创建一个带有选项“ROW FORMAT DELIMITER”|“的表。但我想创建一个普通的表并加载数据。什么......

回答 1 投票 0

将.avro文件中的数据导入hive表

我通过以下命令和avro架构创建了一个hive表。 CREATE TABLE table_name PARTITIONED BY(t string,y string,m string,d string,h string,hh string)ROW FORMAT SERDE'org.apache ....

回答 4 投票 1

如何处理多个重叠数据集?

我有一组数据结构如下:[user_id,title,country,platform,language] [100,'Title A','US','Windows','English'] [100,'Title A' ,'US','Android','English'] [200,'Title C'......

回答 1 投票 0

将数据插入hive表

使用Cygwin发行版,我安装了Hadoop 0.20.3和Hive 0.11.0。首先,我不明白如何使用Hive CLI:hive> show tables;然后输入,没有任何反应。我可以 ...

回答 6 投票 15

© www.soinside.com 2019 - 2024. All rights reserved.