hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。


使用spark-submit部署程序时的java.lang.NoSuchMethodError

我正在编写一个程序来将数据上传到某个s3a://链接。该程序是通过mvn install编译的。在本地运行程序(如使用java -jar jarfile.jar)没有返回任何错误。但是,......

回答 1 投票 0

聚合后用蜂巢表读取和写入

我们有一个蜂巢仓库,并希望使用spark来完成各种任务(主要是分类)。有时将结果写回蜂巢表。例如,我们将以下python函数写入...

回答 3 投票 6

将数据插入hive表

使用Cygwin发行版,我安装了Hadoop 0.20.3和Hive 0.11.0。首先,我不明白如何使用Hive CLI:hive> show tables;然后输入,没有任何反应。我可以 ...

回答 6 投票 15

如何修复mapreduce中mapper的setup方法给出的字符串值的不规则行为?

我是MapReduce的新手,并且正在学习设置方法的实现。配置给出的新字符串值正确打印,但当我尝试进一步处理它时,......

回答 2 投票 0

Hadoop组件是否有兼容性矩阵?

我想知道生态系统的各种Hadoop组件是否有兼容性矩阵?每次Hadoop升级都会产生很大的兼容性影响,例如:Apache Spark 2.4不支持Hadoop v3,......

回答 1 投票 3

Windows上的Hadoop错误:java.lang.UnsatisfiedLinkError

我是Hadoop的新手,并尝试执行我的第一个mapcuce wordcount工作。但是,每当我尝试这样做时,我都会收到以下错误:java.lang.UnsatisfiedLinkError:org.apache.hadoop ....

回答 4 投票 8

如何处理多个重叠数据集?

我有一组数据结构如下:[user_id,title,country,platform,language] [100,'Title A','US','Windows','English'] [100,'Title A' ,'US','Android','English'] [200,'Title C'......

回答 1 投票 0

将.avro文件中的数据导入hive表

我通过以下命令和avro架构创建了一个hive表。 CREATE TABLE table_name PARTITIONED BY(t string,y string,m string,d string,h string,hh string)ROW FORMAT SERDE'org.apache ....

回答 4 投票 1

Hadoop ... Text.toString()转换问题

我正在编写一个简单的程序,用于在我的项目的有向图中枚举三角形。首先,对于每个输入弧(例如b,b c,c a,注意:选项卡符号用作分隔符)我想要我的地图...

回答 1 投票 1

HBase导出/导入:无法找到输出目录

我正在使用HBase作为我的应用程序,我正在尝试使用org.apache.hadoop.hbase.mapreduce.Export导出数据,因为它是在这里指示的。我面对命令的问题是,一旦......

回答 3 投票 1
热门问答
推荐问答