hadoop2 相关问题

Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。

新的 HiveConf 异常 NoClassDefFoundError:com/ctc/wstx/io/InputBootstrapper

我正在运行 HiveConf 测试,当新的 HiveConf 说“java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper”时,总是会出现异常 我尝试显式添加此 jar 依赖项...

回答 1 投票 0

使用 hbase-testing-utility 2.2.3 将 hadoop 升级到 3.1.2

目标 我想从 HDFS 切换到 s3a 客户端。为此,我需要从 Hadoop 2.8.5 至少升级到 3.1.2,因为我需要使用 AssumedRoleCredentialProvider 进行 AWS 访问。

回答 1 投票 0

BDB0091 DB_VERSION_MISMATCH:数据库环境版本与 Ambari 2.4.2 不匹配

我正在通过Ambari 2.4.2在Centos 7.2主机上部署hadoop服务。当我进入该过程的“安装、启动和测试”阶段时,出现以下错误: 执行 '/usr/bin/yum -d ...

回答 2 投票 0

datanode正在启动但在jps中没有显示

我在ubuntu中安装了hadoop,当我运行以下命令时: 须藤苏 hduser cd /usr/local/hadoop/etc/hadoop sudo rm -R /应用程序/* sudo rm -R /tmp/* hadoop namenode-格式 启动-dfs.sh &&

回答 1 投票 0

Hadoop UI 浏览目录错误

当我在浏览器中打开 hadoop UI 时。我收到此错误: HDFS 上不存在路径或 WebHDFS 已禁用。请检查您的路径或启用WebHDFS 你能告诉我我缺少什么以及如何修复吗

回答 1 投票 0

由于“attemptid”的 AM 容器以 exitCode: -1000 退出而失败 2 次

我对 Hadoop 非常陌生(我正在使用 hadoop-2.7.3),我正在尝试做一个 WordCount 示例。来自 youtube 的示例 在将 jar 文件移动到 hadoop 时,我收到如下错误 '失败了 2 次...

回答 1 投票 0

如何指定 AWS 访问密钥 ID 和秘密访问密钥作为 amazon s3n URL 的一部分

我将输入和输出文件夹作为参数传递给来自网页的mapreduce字数统计程序。 出现以下错误: HTTP Status 500 - 请求处理失败;嵌套异常是 java.l...

回答 8 投票 0

在 Hadoop 2.0 中处理超过 300 万个小文本文件

我正在寻找以下问题陈述的解决方案(在HADOOP 2.2+版本中)。 问题陈述: 我们每天需要处理超过 300 万个文件。我们是 有兴趣捕捉...

回答 1 投票 0

Yarn UI 显示没有活动节点,而它出现在 HDFS UI 中

我已经在我的笔记本电脑中设置了 Hadoop, 当我在 Hadoop 上提交作业时(通过 MapReduce 和 Tez), 状态始终为 ACCEPTED,但进度始终停留在 0%,并且描述写的是“w...

回答 2 投票 0

配置hadoop.service.shutdown.timeout属性

我需要配置 hadoop.service.shutdown.timeout 的值,因为当我们的 MR 作业停止时关闭钩子会触发超时: 2023-08-25 08:44:39,566 [警告] [Thread-0] [org.apache.hadoop.u...

回答 1 投票 0

Accumulo 错误:“ZOOKEEPER_HOME 未设置或不是目录”与单独的 ZooKeeper 集群

我正在尝试设置一个使用单独的 ZooKeeper 集群的 Accumulo 集群。我已将 accumulo-site.xml 文件配置为包含带有主机名或 IP 的 instance.zookeeper.host 属性...

回答 1 投票 0

Hadoop文件系统应该关闭吗?

我正在构建一个使用文件系统API向Hadoop写入数据的spring-boot供电服务。一些数据被写入到parquet文件中,大块数据被缓存在内存中,所以当服务关闭时,......

回答 1 投票 7

用spark读取多个json模式。

软件配置:Hadoop发行版:Amazon 2.8.3 应用:Hive 2.3.2,Pig 0.17.0,Hue 4.1.0 Hadoop distribution:Amazon 2.8.3 Applications:Hive 2.3.2, Pig 0.17.0, Hue 4.1.0, Spark 2.3.0 Tried to read with multiple json schema, val df = spark.read.option("...")

回答 1 投票 3

mahout日志的存储位置

我是一个新的Mahout。我已经运行了mahout集群任务,但它失败了,我无法知道为什么这个任务失败了,那么mahout日志存储在哪里呢?

回答 1 投票 -1

如何在不重启Hadoop服务的情况下清除 "副本保留空间"?

如何找到 "Replicas保留空间 "不断增加的原因,如何限制这类缓存的空间?我们发现 "Replicas的保留空间 "超过了Non DFS使用的空间(最后 ...

回答 1 投票 1

filebeat to kafka : 无法连接到代理。

我是apache环境下的新手,目前正在尝试从filebeat producer发送日志数据到kafka broker。环境:kafka 2.11(通过ambari安装)filebeat 7.4.2(windows),我尝试...

回答 1 投票 0

如何搜索Hadoop中分布在多台服务器上的大量文件(假设有10万个文件)?

苹果面试问题示例。假设你有100,000个文件分布在多个服务器上,你想处理所有的文件?你会如何在Hadoop中进行处理?

回答 1 投票 0

配置单元将自动对精度进行舍入

我正在配置单元中进行除法运算,似乎自动将值取整。有没有办法我可以避免这种情况。示例选择cast(600 / 27701.47作为十进制(31,20)); + --------------...

回答 1 投票 1

如何在不重新启动Hadoop服务的情况下重置“副本的保留空间”

如何找到为什么“副本保留空间”不断增加,以及如何限制此类缓存的空间?我们发现“副本的保留空间”与“非DFS”空间有关,并且...

回答 1 投票 0

-bash:bin / kafka-topics.sh:没有通过ambari安装的文件或目录

我是hadoop和apache环境的新手。现在,我想了解有关通过ambari安装hadoop的kafka的信息。而且我可以看到安装了一些服务。包括动物园管理员。当我单击...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.