hadoop2 相关问题

Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。

Hadoop UI 浏览目录错误

当我在浏览器中打开 hadoop UI 时。我收到此错误： HDFS 上不存在路径或 WebHDFS 已禁用。请检查您的路径或启用WebHDFS 你能告诉我我缺少什么以及如何修复吗

hadoop2

回答 1 投票 0

由于“attemptid”的 AM 容器以 exitCode: -1000 退出而失败 2 次

我对 Hadoop 非常陌生（我正在使用 hadoop-2.7.3），我正在尝试做一个 WordCount 示例。来自 youtube 的示例在将 jar 文件移动到 hadoop 时，我收到如下错误 '失败了 2 次...

java ubuntu hadoop2

回答 1 投票 0

如何指定 AWS 访问密钥 ID 和秘密访问密钥作为 amazon s3n URL 的一部分

我将输入和输出文件夹作为参数传递给来自网页的mapreduce字数统计程序。出现以下错误： HTTP Status 500 - 请求处理失败；嵌套异常是 java.l...

hadoop amazon-web-services amazon-s3 mapreduce hadoop2

回答 8 投票 0

在 Hadoop 2.0 中处理超过 300 万个小文本文件

我正在寻找以下问题陈述的解决方案（在HADOOP 2.2+版本中）。问题陈述：我们每天需要处理超过 300 万个文件。我们是有兴趣捕捉...

hadoop hadoop2

回答 1 投票 0

Yarn UI 显示没有活动节点，而它出现在 HDFS UI 中

我已经在我的笔记本电脑中设置了 Hadoop，当我在 Hadoop 上提交作业时（通过 MapReduce 和 Tez），状态始终为 ACCEPTED，但进度始终停留在 0%，并且描述写的是“w...

hdfs hadoop-yarn hadoop2

回答 2 投票 0

配置hadoop.service.shutdown.timeout属性

我需要配置 hadoop.service.shutdown.timeout 的值，因为当我们的 MR 作业停止时关闭钩子会触发超时： 2023-08-25 08:44:39,566 [警告] [Thread-0] [org.apache.hadoop.u...

hadoop mapreduce hadoop-yarn hadoop2

回答 1 投票 0

Accumulo 错误：“ZOOKEEPER_HOME 未设置或不是目录”与单独的 ZooKeeper 集群

我正在尝试设置一个使用单独的 ZooKeeper 集群的 Accumulo 集群。我已将 accumulo-site.xml 文件配置为包含带有主机名或 IP 的 instance.zookeeper.host 属性...

apache-zookeeper hadoop2 accumulo

回答 1 投票 0

Hadoop文件系统应该关闭吗？

我正在构建一个使用文件系统API向Hadoop写入数据的spring-boot供电服务。一些数据被写入到parquet文件中，大块数据被缓存在内存中，所以当服务关闭时，......

java spring-boot hadoop hdfs hadoop2

回答 1 投票 7

用spark读取多个json模式。

软件配置：Hadoop发行版：Amazon 2.8.3 应用：Hive 2.3.2，Pig 0.17.0，Hue 4.1.0 Hadoop distribution:Amazon 2.8.3 Applications:Hive 2.3.2, Pig 0.17.0, Hue 4.1.0, Spark 2.3.0 Tried to read with multiple json schema, val df = spark.read.option("...")

json scala amazon-web-services hadoop2 amazon-emr

回答 1 投票 3

mahout日志的存储位置

我是一个新的Mahout。我已经运行了mahout集群任务，但它失败了，我无法知道为什么这个任务失败了，那么mahout日志存储在哪里呢？

hadoop mahout hadoop2 mahout-recommender

回答 1 投票 -1

如何在不重启Hadoop服务的情况下清除 "副本保留空间"？

如何找到 "Replicas保留空间 "不断增加的原因，如何限制这类缓存的空间？我们发现 "Replicas的保留空间 "超过了Non DFS使用的空间（最后 ...

hadoop hadoop2 hdp

回答 1 投票 1

filebeat to kafka : 无法连接到代理。

我是apache环境下的新手，目前正在尝试从filebeat producer发送日志数据到kafka broker。环境：kafka 2.11（通过ambari安装）filebeat 7.4.2（windows），我尝试...