Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
Spark 3.1.2、Hadoop 3.2.1 和 AWS Hadoop 依赖项的问题
我在 Java Spark 应用程序中遇到 Spark、Hadoop 和 AWS Hadoop 依赖项的兼容性问题。 我本地机器上运行的Spark版本是3.1.2。 问题： 我正在研究...
来自 java 的异常“：org.apache.hadoop.ipc.RpcException：RPC 响应超出最大数据长度”
我正在尝试从桌面 Eclipse 中运行的 Java 程序连接到远程 HDFS。我能够连接。但在尝试读取数据时出现此异常： 引起者：org.apache.hadoop.ipc.
Hadoop 错误：异常消息：'/tmp/hadoop-user' 未被识别为内部或外部命令、可操作程序或批处理文件
我是 Hadoop 新手，我一直在遵循在 LinkedIn 上找到的标题为“安装 Hadoop 单节点集群并在 Windows 操作系统中运行简单应用程序（如字数统计）”的指南。每个...
我已经安装了hadoop并在路径中设置了hadoop_home和bin 但我仍然收到此错误 hadoop-版本 系统找不到指定的路径。
如何在 HDFS 中解压 bz2 文件 系统想要将此.csv 文件上传到我在 hive 中创建的表中 2003.csv.bz2 我有这个文件 zcat 2003.csv.bz2 | hdfs dfs -put - /user/$USER/workspace 这我
在 Hadoop 中运行 wordcount 示例时，我遇到以下错误。 说“JAR 不存在或不是普通文件： /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduceexamp...
需要比 MMDS 更好的解释 MapReduce 的通信成本模型
我正在浏览 MMDS 书籍，该书有一个同名的在线 MOOC。我无法理解主题 2.5 中提到的通信成本模型和连接操作计算，并且
我已经建立了一个hadoop集群。问题出在 ssh 无密码连接上。我的主节点无需密码即可连接到从属节点。然而我的奴隶要求输入密码
Hadoop Pipes Wordcount 示例：LocalJobRunner 中的 NullPointerException
我正在尝试运行本教程中有关 Hadoop Pipes 的示例： 我在编译和一切方面都取得了成功。但是，运行后它向我显示 NullPointerException 错误。我尝试了很多...
我已经安装了Hadoop，每次我想运行它时，首先我必须这样做： 源~/.bash_profile 否则它不会识别命令 hadoop 这是为什么？ 我使用的是 OSX 10.8
这是我第一次搭建Hadoop伪分布式模式。我能够按照我的课程说明进行安装，没有任何问题，直到最后一步使用此 com 启动节点...
Apache Spark ConnectionRefusedError: [WinError 10061] 由于目标机器主动拒绝而无法建立连接
我在运行此代码时遇到 ConnectionRefusedError 火花 = SparkSession.builder.getOrCreate() 我安装了 Apache Spark 3.4.0、Java 20.0.1，并使用 winutils.exe for hadoop 3.3。 在C盘...
我担心从 MongoDB 中提取数据，我的应用程序处理 MongoDB 中的大部分数据。 我曾使用 sqoop 来提取数据，并发现 RDBMS 通过 sqoop 与 HDFS 结合在一起。
我需要学校项目的帮助。 对于我所做的实验，我用 python（版本 3）编写了映射器和化简器脚本，并且能够毫无问题地运行 hadoop 流。然后我编辑...
导入 sqoop 到 hdfs 错误 由于 AM 容器，应用程序失败 2 次
在此输入图像描述 我尝试使用 sqoop 导入数据 命令： sqoop import --connect "jdbc:sqlserver://192.168.26.8:1717;databasename=VMC" --表联系人 -m 1 --用户名 sa --pass...
如何在 Bitnami Hadoop 虚拟机和 Windows 主机之间共享文件？
我一直在尝试有一种方法可以在虚拟机上的 Bitnami Hadoop 和 Windows 主机之间共享文件，但我还没有找到具体的方法来做到这一点。有什么想法吗？ 我尝试使用...
当Hadoop中一个连接的namenode停止时，datanode不是会自动连接到另一个namenode吗？
我们在Ubuntu上安装了hadoop 2.2.0并配置了HA，如下所示。 namenode：master，master-ha 数据节点：从属 我们确认master和master-ah连接正确并且状态设置为...
ClassNotFoundException: org.apache.flink.client.CliFrontend 使用 flink 运行 jar 文件时
我已经在 Microsoft Windows 上下载了 Apache Flink 并运行了 start-local.sh。它有效，我可以通过导航到 http://localhost:8081/ 成功访问 Web 界面。 但当我尝试...
我收到此错误 有 0 个数据节点正在运行，并且此操作中没有排除任何节点
我需要安装 hive 才能在我的机器上使用 sqoop 吗？ 当我尝试将数据从 mysql 导入到 hadoop 时，它会抛出如下错误： bhandarisamir@Lomass-MacBook-Pro ~ % sqoop import \ --
执行目标org.apache.maven.plugins失败：maven-assemble-plugin（GroupId不能为空）
我对maven和Oozie非常陌生，当我使用命令时， ./mkdistro.sh -DskipTests -Dmaven.javadoc.skip=true 从 Oozie-3.3.2 bin 文件夹构建 oozie，我收到一些错误消息...