hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

每个月过去 3 个月的汇总滚动总数

ID 日期 成本 1个 202201 100 1个 202112 50 1个 202111 70 1个 202110 120 1个 202110 5个 所需输出:前 3 个月总计的总和 ID 日期 成本 滚动3个月 1个 202201 100 220 1个 202112 50 240 1个

回答 1 投票 0

无法启动蜂巢

我无法在遵循入门程序时启动 Hive 这是错误: $./蜂巢 SLF4J:类路径包含多个 SLF4J 绑定。 SLF4J:在 [jar:file:/home/

回答 2 投票 0

如何使用 sqoop 将 postgresql 数据库增量备份到 hadoop

我有一个名为 test 的数据库,我在其中创建了一个名为 sqoop2 的表。其中包含 15 行与 updated_date 分隔的行。所以当我在查询下面运行但没有查询帮助我们做

回答 0 投票 0

Hive 查询以导出表中相似列值的公式

列 a、b、c、d 是表中的可用列。 我需要构建一个查询,在其中派生“cont_rate”列,对于每个日期的每个类似的 intent_derived_name,我需要有公式 (1- (

回答 0 投票 0

如何定义类型适配器?

我目前正在使用Hive数据库存储数据。我运行以下代码: 主()异步{ 运行应用程序(我的应用程序()); 等待 Hive.initFlutter(); Hive.registerAdapter(exerciseAdapter()); 等待 Hive.ope...

回答 1 投票 0

如何为 hadoop 3.3.5 构建 hadoop 公共库

我正在尝试从主要指南构建 hadoop native 这是我通过 docker ubuntu 尝试过的:最新图像 apt-get更新&& apt-get升级-y apt-get install wget git gnupg softw...

回答 0 投票 0

如何检查 Hive 表是否以编程方式分区?

如何通过不进入直线 shell 并检查分区列来确定配置单元表是否以编程方式分区。 有什么方法可以检查吗?

回答 0 投票 0

使用spark sql向嵌套结构的表中添加一列

我有一个具有这种结构的蜂巢表: 根 |-- 组:结构(可为空 = 真) | |-- ord: string (nullable = true) | |-- user_exps: array (nullable = true) | | |-- 元素:长 (

回答 0 投票 0

如何将ElasticSearch结果转换成parquet文件?

我想通过动态生成模式将来自 ElasticSearch co.elastic.clients.elasticsearch.core.SearchResponse 响应的响应转换为镶木地板文件... 我试过了……

回答 0 投票 0

如何更改分区列的数据类型?

在这里输入图片描述 考虑我有下表: 创建外部表 sales ( 身份证, 名称字符串, 金额翻倍 ) 分区方式(CITY INT); 在上表中,当我尝试更改...

回答 1 投票 0

寻找一种使用 HDFS 和 MapReduce 或 Spark 存储和处理原始 NetCDF 文件(科学数据)的方法?

我实际上正在从事一个空间大数据项目(NetCDF 文件),我想将这些数据(netcdf 文件)存储在 hdfs 上并使用 mapreduce 或 spark 对其进行处理,以便用户将查询发送为 AVG,m.. .

回答 0 投票 0

如何使用 Pyspark 计算员工在办公室的总时间,考虑并删除时差

样本数据 开斋节,TS,事件 1,2020-12-30T09:00:00,印第安纳州 1,2020-12-30T13:00:00, 结束 1,2020-12-30T14:00:00,印第安纳州 1,2020-12-30T17:00:00, 结束 1,2020-12-30T17:30:00,印第安纳州 1,2020-12-...

回答 1 投票 0

当我尝试在 Hive 中插入数据时,我得到了 ParseException

像这样的问题 请帮我解决这个问题。 如果不存在则创建表学生( > 学生姓名 STRING, > Student_Rollno INT, > Student_Marks 浮动) > 行 F...

回答 0 投票 0

java.lang.NullPointerException 尝试使用 NiFi 中的 PutHive3Streaming 写入配置单元表

我正在尝试在 NiFi 中生成一个包含 JSON 消息的流文件: { "user_id": "${random():mod(10):toNumber():plus(1)}", "user_name": "user_${跑...

回答 0 投票 0

使用相邻行的值重新计算

我正在尝试创建一个逻辑,使用 Apache Hive 或 Spark SQL 使用相邻行中的数据重新计算,但我不确定如何,所以我在问一个问题。 12 11 1 10 ...

回答 0 投票 0

tez引擎为什么还要在最简单的insert语句上加一个reduce阶段,如何通过配置去掉?

这是 hive-sql: insert into my_orc_table_25 select * from my_orc_table limit 5; 这些是模式: 创建表 my_orc_table ( 身份证, 名称 STRING ) 存储为兽人; 创建TA...

回答 2 投票 0

失败,出现异常 java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException:

我有一个 Parquet 文件(由 Drill 创建),我试图在 Hive 中将其作为外部表读取。 我试图以 bignit 格式存储数据,但它指向 parquet 中的长格式。阅读时...

回答 0 投票 0

中断等待向服务器发送 rpc 请求

在一个线程上连续运行的配置单元日志中,我们每秒都会遇到此警告消息。 中断等待向服务器发送 rpc 请求 但是,配置单元查询执行正在发生

回答 0 投票 0

hive 中的 Unicode 数据支持

Hive 根据 Hive 文档支持表中的 unicode 数据。 我创建了一个带有“字符串”数据类型的表,并将 unicode 数据加载到其中,但是当我说 select * from 时,我得到了垃圾

回答 3 投票 0

如何更改仓库默认数据库的位置?(spark)

... hive.metastore.warehouse.dir hdfs://spark-master-01:9000/skybluelee/skybluelee_warehouse_mysql_5.7 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.