hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

如何在join条件下使用trim函数?

我有一个数据集,其中一列中有“1-M3 [J]”和“1 - M3 [J]”等值。两者都是相同的值,但添加了一个空格。数据在此不一致案件 。 我用过:...

回答 1 投票 0

在Python中以编程方式启动HiveThriftServer

在spark-shell(scala)中,我们导入, org.apache.spark.sql.hive.thriftserver._ 用于以编程方式为特定 Hive 上下文启动 Hive Thrift 服务器,如下所示 HiveThriftServer2.startWithContext(

回答 2 投票 0

如何使用jupyter笔记本在pyspark中的Hive上使用%sql Magic string启用spark SQL

如何在 jupyter 笔记本上启用 %sql 魔术字符串以及如何使用以下代码行在单元格上使用 %sql 魔术字符串。 Spark.sql('从测试中选择*').show()

回答 4 投票 0

当底层作业成功完成时,Oozie 工作流程在 Hive 作业上给出错误

自学的一部分我正在探索Oozie,并且正在Hortonworks Sandbox VM上练习。问题是,当底层作业给出时,Oozie 工作流程会出错并被杀死......

回答 2 投票 0

在Cloudera中使用serde加载JSON文件

我正在尝试使用具有此包结构的 JSON 文件: { “用户id”:“kim95”, “类型”:“书”, "title": "现代数据库系统:对象模型、互操作性及其他。", ”

回答 2 投票 0

十进制数据类型未在 Spark 和 Hive 中正确存储值

我在使用十进制数据类型存储时遇到问题,不确定这是一个错误还是我做错了什么 文件中的数据如下所示 列 1 列 2 列 3 史蒂夫 100 100.23

回答 4 投票 0

如何有条件地从列中删除前两个字符

我有一些电话记录的以下数据,我想从每条记录中删除前两个值,因为它们是国家/地区代码。我可以使用 Scala、Spark 或 Hiv 执行此操作的方式是什么...

回答 4 投票 0

为什么spark3动态分区写入hive很慢

问题1: 我有一张数据量不大的表,但是日常写入有很多动态分区,原来spark2写入只需要2分钟就可以解决,但是升级后...

回答 1 投票 0

如何过滤“INT”格式的日期列。 SQL 错误 [58]:查询失败:第 13:13 行:无法应用运算符:整数 <= date

我有一个事务表,其中日期列以“yyyymmdd”格式保存为 INT。 我需要运行一个查询,刷新时仅提取最近 7 天的数据,无论如何......

回答 2 投票 0

如何获取 Hive Web 界面的 URL

抱歉,这可能是一个基本问题。我尝试用谷歌搜索但找不到确切的解决方案 我正在尝试查找我的 Hive Web 界面的 URL。 通过这个我可以检查其中存在的表格。 ...

回答 3 投票 0

如何在hive中的分区内创建分区?

我在配置单元表中存储了一些数据,其字段为日期、平均温度、经度、纬度、城市和国家/地区。 我想根据城市和国家/地区对数据进行分区,城市

回答 1 投票 0

如何将JSON加载到hive表中?

我有一个Python代码,它使用来自Kafka主题的消息。我想将这些消息存储到配置单元表中。 导入SSL 从 kafka 导入 KafkaConsumer、TopicPartition 从 pyhive 导入配置单元 SSL。

回答 1 投票 0

如何使用覆盖jdbc连接spark打开kerberos配置单元?

环境:原始hadoop;开启kerberos hive;depoly-mode:yanr-clint;每个haoop节点放置证书; 流程:覆盖spark jdbcsource,spark使用此souce连接hive,连接前有auth...

回答 1 投票 0

Hive 查询查找每年销售数量最多的月份

我有如下数据,我试图从中找出每年哪个月份的订购数量最大 如果数据显示不清晰,我添加了它的一个片段 QTR_ID 订购数量

回答 1 投票 0

Hive:无效的列引用

在 Hive 中,我有四个表: temp_basic_info(ID、MSISDN、性别、年龄、日、月、年、关系状态) temp_education(ID,教育) 喜欢和音乐(ID、名称、页面) temp_output(ID、MSIS...

回答 1 投票 0

Hive 和 hive server2 未启动

我正在尝试使用 apache_hive_2.3.7 和 apache_hadoop_3.3.6 在本地计算机中设置配置单元。当我尝试运行配置单元时出现以下错误: [sgopi@localhost v2.3.7]$ 配置单元 /usr/bin/which: 没有 hbase 我...

回答 1 投票 0

错误 [HYT00] [Microsoft] [Hardy] 查询执行超时已过期。 Hive ODBC 连接

使用 Microsoft Hive ODBC 驱动程序 hive 2.1.12.1017 连接具有 hadoop 设置的 Linux 计算机上的 Hive。 选择大数据查询会出现此错误: 错误 [HYT00] [Microsoft] [Hardy] 查询

回答 2 投票 0

REGEXP_REPLACE 捕获组

我想知道是否有人可以帮助我了解如何使用 Hive 的 regexp_replace 函数来捕获正则表达式中的组并在替换字符串中使用这些组。 我有一个示例问题...

回答 3 投票 0

我们如何在没有快照的情况下重命名或复制 MapR 中现有的 Hbase 表?

我正在尝试重命名现有的 HBase 表,但 MapR 不支持我在 google 上搜索到的任何现有解决方案。例如导出、快照等。有人可以发布正确的重命名步骤吗...

回答 1 投票 0

在 Hive 中将字符串值转换为十进制时为 NULL

我正在使用 Hive 0.13,表值的 STRING 列中有 1.250,99 我想将这些值转换为十进制,所以我必须替换“。”通过“”和“,”通过“。”结果是 1250.99 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.