hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

由于java.io.IOException:nextKeyValue中的SQLException,Sqoop导入失败

我正在使用Sqoop import命令连接三个表数据并将数据从Oracle导入Hive。查找下面的表数据计数。从table1中选择count(*); - 40446561从...中选择计数(*)

回答 1 投票 0

如何在Hive中的所有表中找到特定的列名。

如何在Hive中的所有表中找到特定的列名?我在hive中运行了这个查询:select column_name,column_name from retail.columns,其中column_name类似'%emp%'; (零售是一个数据库)。 ...

回答 2 投票 3

sqoop进口实木复合地板尺寸

我的问题是,我有一个500k行的Oracle表。我设置sqoop将其作为镶木地板文件导入HDFS。我将--num-partition参数设置为32,然后我得到32个镶木地板文件,但是,一个......

回答 2 投票 0

从包含Map格式的数据的文件创建一个配置单元表(转发 - > 0,loc - > none)

如何从包含Map格式的数据的文件创建一个hive表(转发 - > 0,位置 - >无,情感 - >中性,文本 - >这是班加罗尔另一个保存最好的秘密....

回答 1 投票 0

在同一个hive表上进行多次压缩

我有一个按年/月分区的Hive表,它包含至少7年的数据。我想做什么通过Snappy压缩最新的数据(比如1到1岁),但旧的数据通过......

回答 1 投票 1

无法增加Max Application Master资源

我正在使用uhopper / hadoop docker image来创建纱线簇。我有3个节点,每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。 - ......

回答 2 投票 5

如何在Hortonworks沙箱Hadoop平台中运行mapreduce作业

我是Hadoop的新手。我已经安装了oracle虚拟盒并在虚拟机中安装了hortonworks沙箱的图像。此外,我已经在eclipse中编写了wordcount程序并尝试...

回答 1 投票 0

HDFS未检测到数据节点容量增加

我有一个由4个虚拟机(1个主服务器和3个从服务器)组成的虚拟hadoop集群,最近为集群中的数据节点增加了100GB容量。问题是HDFS没有检测到这个......

回答 1 投票 0

无法将窗口调用分解为组。错误:org.apache.hadoop.hive.ql.parse

我正在尝试从两个表连接两列,以生成一列的唯一id.Max列值,其中包含另一个表的行号。从MPPO S中选择(MAX(S.m_id));选择row_number()OVER(ORDER ...

回答 2 投票 1

Apache Spark错误使用hadoop将数据卸载到AWS S3

我正在使用Apache Spark v2.3.1并尝试在处理之后将数据卸载到AWS S3。像这样:data.write()。parquet(“s3a://”+ bucketName +“/”+ location);配置似乎是......

回答 1 投票 1

我必须实现hadoop,所以它可以处理呼叫详细记录的数据?

我已经配置了HDFS,Datanode和namenode以及hbase。我在HDFS中存储了一个CDR csv文件。那么如何将其与Hbase映射并准备好进行处理呢?

回答 1 投票 -1

Spark&Scala:saveAsTextFile()异常

我是Spark&Scala的新手,在调用saveAsTextFile()后我得到了异常。希望有人可以帮忙...这是我的input.txt:Hello World,我是程序员Hello World,我是程序员这是......

回答 2 投票 5

Spark:内存繁重的连接操作的最佳实践

我有一个火花程序,涉及大型Hive表的连接操作(数百万行,数百列)。在这些连接期间使用的内存非常高。我想了解......

回答 1 投票 0

你如何检查dfs中的目录

我在dfs中创建了一个名为/ foodir的目录来测试,如下所示:hadoop dfs -mkdir / foodir有人能告诉我这个/ foodir在哪里保存了吗?我该如何查看路径?我需要确定,它是......

回答 1 投票 0

Hadoop用例场景

我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见。虽然我理解像......这样的数据库,但我是这项技术的新手。

回答 3 投票 2

在hdfs(namenode)中使用的命名空间和元数据的含义是什么

作为hadoop的初学者,我对这些单词命名空间和元数据感到困惑。这两者之间有什么关系吗?

回答 2 投票 7

如何将oracle表导入hive表

我试图使用sqoop将oracle表导出到hive表:sqoop import --connect jdbc:oracle:thin:@ :1521: - 用户名 - 密码 - 表

回答 2 投票 0

从CSV创建表,其值包含用引号括起来的逗号

我正在尝试使用我上传到HDFS目录的CSV在Impala中创建一个表。 CSV包含用引号括起来的逗号的值。示例:1.66.96.0 / 19,“NTT Docomo,INC。”,“......

回答 2 投票 5

如何根据配置单元中的3列查找上一个日期值

我想基于3列找出目标表中的上一个日期值。附带的屏幕截图中解释了示例和场景。请帮忙。

回答 2 投票 0

Row格式serde是创建Hive表时要使用的必需参数

我在文本文件的顶部创建了一个临时的hive表,如下所示:CREATE EXTERNAL TABLE tc(fc String,cno String,cs String,tr String,at String,act String,wa String,dn String,pnm String,rsk String,ttp ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.