Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
我已经使用spark在python代码中创建了一个外部配置单元表,但是当我想使用配置单元外壳查看表时遇到了问题。这些请求都不起作用:描述hive_table,SELECT,Alter .......
Hadoop 2.8 NodeManager在Windows上关闭
我已按照本网站上的所有步骤进行操作。在我的PC上,所有设备都运行正常,但是在我的笔记本电脑上,nodeManager正在关闭。 https://muhammadbilalyar.github.io/blogs/How-to-install-Hadoop-on -...
我无法删除HDFS中存在的损坏文件。当我启动时:hdfs fsck -list-corruptfileblocks我损坏了一些块:路径'/'下的文件系统有10个损坏的文件hdfs dfs ...
我一直在关注有关安装Hadoop的本文,并且已经完成了这篇文章。但是,在尝试创建新的hdfs文件夹时,发生以下错误。 C:\ hadoop-2.8.0 \ bin> ...
Flink 1.9没有用于方案的文件系统:kubernetes上的hdfs
我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4上,我正在构建一个胖jar,其中包含我所有的hadoop 2.9.2依赖项,然后我将它们用于提交给k8s上的Flink集群。...
我是hadoop的新手。我想知道快照和用于hadoop中的文件系统状态的fsimage之间的区别。我听说两者都做同样的工作。那么它们之间有什么区别呢?
获取错误的值类:org.apache.hadoop.io.LongWritable类不是org.apache.hadoop.io.IntWritable类
我正在学习MapReduce,我编写了一个程序,该程序计算成员和非成员完成的预订总时间。我通过了所需的所有可能的作业配置,但是在运行...
在维护加载,管理或外部数据方面,哪一种更好(从性能和长期运行角度来看更好?通过维护,我的意思是这些表将具有以下操作...
我有一个Twitter数据,数据分为两部分:@Username和tweet或文本RT @username:留在后面,或跳过(文本,标签和表情符号中的任何内容)RT @username:留在后面,或者...
您好,我是Hadoop的新手,对版本名称感到困惑,在 .x 强大的支持和学习资源 , . 或 . 中应该使用哪个版本名称。 我已经读过hadoop从v . l...
我正在将Hadoop . . 版本集群与当前安装在其中的hadoop子项目一起使用,以进行学习。 我现在想说的是,目前任何生产系统中还是任何仍在生产系统中使用...
我有这个问题,其中YARN分配资源用于Spark的速度非常慢,有时添加执行器太晚了。这是在停电之后开始的,在我重新启动集群之后,它开始表现得很慢...
org.apache.hadoop.fs.ParentNotDirectoryException:/ TMP(不是目录)
我是新来的Hadoop和运行wordCount2例子。但是我得到以下错误异常在线程“主要” org.apache.hadoop.fs.ParentNotDirectoryException:/ tmp目录(不是一个目录)在...
我有一个问题:当我使用Apache的紧缩,我不能设置多个输入通道。我怎么解决这个问题?
1)我有2个数据节点一个HDP群集。但对于HDFS复制因子为3。当存储在这种情况下,第三个副本块? 2)如果我上传在HDFS文件(与复制因子为3)...
为什么蜂巢给metaexception当我试图删除数据库,我使用MySQL作为metastore?
蜂房>> DROP DATABASE IF EXISTS ABC.XYZ;失败:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回码1。 MetaException(消息:一个或多个实例不能...
如何覆盖在apache的火花2.3分,同时还写有INSERTINTO方法,实木复合地板
我看到这个示例代码通过火花2.3真的很好dfPartition.coalesce(coalesceNum).write.mode(“覆盖”)。格式(“实木复合地板”)覆盖的分区。INSERTINTO(tblName)我的问题是...
我有3个节点,一个namenode1,datanode1和datanode2。瓢和mysql安装在namenode1。可以当C作为测试数据库的列表。 Hadoop的@ namenode1:在/ usr /本地/ sqoop / lib目录$ sqoop列表-...
本地:为“spark.yarn.jars”路径/ URI方案
我是新来的火花,并试图了解我的项目中的代码,并进行这项工作。在创建火花会议上,我看到一个代码条目配置为 - 的.config(“spark.yarn.jars”,“地方:/ Cloudera公司/ ...
导入数据的Avro失败,Sqoop 1.4.7和Hadoop 2.7.3
我处理的问题,我想从使用Apache Sqoop内部部署的PostgreSQL从属副本到谷歌云存储中的Avro格式导入数据的大量。与导入数据...