hadoop2 相关问题

Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。

无法获取表hive_table

我已经使用spark在python代码中创建了一个外部配置单元表,但是当我想使用配置单元外壳查看表时遇到了问题。这些请求都不起作用:描述hive_table,SELECT,Alter .......

回答 1 投票 0

Hadoop 2.8 NodeManager在Windows上关闭

我已按照本网站上的所有步骤进行操作。在我的PC上,所有设备都运行正常,但是在我的笔记本电脑上,nodeManager正在关闭。 https://muhammadbilalyar.github.io/blogs/How-to-install-Hadoop-on -...

回答 1 投票 1

无法删除HDFS丢失/损坏的文件

我无法删除HDFS中存在的损坏文件。当我启动时:hdfs fsck -list-corruptfileblocks我损坏了一些块:路径'/'下的文件系统有10个损坏的文件hdfs dfs ...

回答 1 投票 1

hadoop fs -mkdir:没有这样的目录

我一直在关注有关安装Hadoop的本文,并且已经完成了这篇文章。但是,在尝试创建新的hdfs文件夹时,发生以下错误。 C:\ hadoop-2.8.0 \ bin> ...

回答 1 投票 0

Flink 1.9没有用于方案的文件系统:kubernetes上的hdfs

我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4上,我正在构建一个胖jar,其中包含我所有的hadoop 2.9.2依赖项,然后我将它们用于提交给k8s上的Flink集群。...

回答 1 投票 0

hadoop中的fsimage和快照之间有什么区别?

我是hadoop的新手。我想知道快照和用于hadoop中的文件系统状态的fsimage之间的区别。我听说两者都做同样的工作。那么它们之间有什么区别呢?

回答 1 投票 2

获取错误的值类:org.apache.hadoop.io.LongWritable类不是org.apache.hadoop.io.IntWritable类

我正在学习MapReduce,我编写了一个程序,该程序计算成员和非成员完成的预订总时间。我通过了所需的所有可能的作业配置,但是在运行...

回答 1 投票 0

Hive托管表与外部表的可维护性

在维护加载,管理或外部数据方面,哪一种更好(从性能和长期运行角度来看更好?通过维护,我的意思是这些表将具有以下操作...

回答 1 投票 0

用于蜂巢的Twitter数据的正则表达式

我有一个Twitter数据,数据分为两部分:@Username和tweet或文本RT @username:留在后面,或跳过(文本,标签和表情符号中的任何内容)RT @username:留在后面,或者...

回答 1 投票 0

我应该在1.x,2.2和0.23中选择哪个hadoop版本

您好,我是Hadoop的新手,对版本名称感到困惑,在 .x 强大的支持和学习资源 , . 或 . 中应该使用哪个版本名称。 我已经读过hadoop从v . l...

回答 2 投票 1

Hadoop 1.x生产版本

我正在将Hadoop . . 版本集群与当前安装在其中的hadoop子项目一起使用,以进行学习。 我现在想说的是,目前任何生产系统中还是任何仍在生产系统中使用...

回答 0 投票 0

Spark的Hadoop YARN资源分配缓慢

我有这个问题,其中YARN分配资源用于Spark的速度非常慢,有时添加执行器太晚了。这是在停电之后开始的,在我重新启动集群之后,它开始表现得很慢...

回答 1 投票 0

org.apache.hadoop.fs.ParentNotDirectoryException:/ TMP(不是目录)

我是新来的Hadoop和运行wordCount2例子。但是我得到以下错误异常在线程“主要” org.apache.hadoop.fs.ParentNotDirectoryException:/ tmp目录(不是一个目录)在...

回答 1 投票 0

Apache的紧缩:如何设置多个输入路径?

我有一个问题:当我使用Apache的紧缩,我不能设置多个输入通道。我怎么解决这个问题?

回答 1 投票 0

HDFS数据块存储

1)我有2个数据节点一个HDP群集。但对于HDFS复制因子为3。当存储在这种情况下,第三个副本块? 2)如果我上传在HDFS文件(与复制因子为3)...

回答 1 投票 0

为什么蜂巢给metaexception当我试图删除数据库,我使用MySQL作为metastore?

蜂房>> DROP DATABASE IF EXISTS ABC.XYZ;失败:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回码1。 MetaException(消息:一个或多个实例不能...

回答 1 投票 0

如何覆盖在apache的火花2.3分,同时还写有INSERTINTO方法,实木复合地板

我看到这个示例代码通过火花2.3真的很好dfPartition.coalesce(coalesceNum).write.mode(“覆盖”)。格式(“实木复合地板”)覆盖的分区。INSERTINTO(tblName)我的问题是...

回答 1 投票 1

数据库名称舀错误,虽然它的存在甚至不存在

我有3个节点,一个namenode1,datanode1和datanode2。瓢和mysql安装在namenode1。可以当C作为测试数据库的列表。 Hadoop的@ namenode1:在/ usr /本地/ sqoop / lib目录$ sqoop列表-...

回答 1 投票 -1

本地:为“spark.yarn.jars”路径/ URI方案

我是新来的火花,并试图了解我的项目中的代码,并进行这项工作。在创建火花会议上,我看到一个代码条目配置为 - 的.config(“spark.yarn.jars”,“地方:/ Cloudera公司/ ...

回答 1 投票 0

导入数据的Avro失败,Sqoop 1.4.7和Hadoop 2.7.3

我处理的问题,我想从使用Apache Sqoop内部部署的PostgreSQL从属副本到谷歌云存储中的Avro格式导入数据的大量。与导入数据...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.