Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
运行 MapReduce 作业显示错误 - Mkdirs 无法创建 /var/folders/
当我在 Mac 终端中运行 MapReduce 作业时： PawandeepSingh1$ hadoop jar MaximumTemperature.jar 线程“main”中出现异常 java.io.IOException：Mkdirs 无法创建 /var/folders/v1/
错误：py4j.Py4JException：方法 sql([class java.lang.String, class [Ljava.lang.Object;]) 不存在
我正在使用 Pyspark 3.4.1、java 8、hadoop 3.4.0、scala 2.12.17、python 3.11.4，这是我在 vscode 中的代码： def计算点击（df）： click_data = df.filter((df.custom_track == "点击&qu...
IllegalArgumentException：java.net.UnknownHostException：NNode
我可以使用 DBeaver 连接位于不同虚拟机中的配置单元表。 当我尝试通过 pyspark 连接我的配置单元时，我能够查看模式中的所有表，但是当我尝试查询时...
在 Flink 应用程序中从 AWS S3 存储桶读取 ORC 文件
我们正在使用 Flink 版本 1.13.5 并尝试从 AWS S3 位置读取 ORC 文件。而且，我们正在将应用程序部署在自我管理的 Flink 集群中。请查找以下代码以了解更多信息...
我不断收到错误：value max is not a member of org.apache.spark.sql.DataFrame on Spark Scala
所以我尝试在 DataProc 上使用 Spark Scala 评估数据集。我需要找到最大值和其他等等，但每次我尝试使用简单的逗号找到最大值时，我总是收到错误...
如何将apache/hive镜像与apache/hadoop镜像连接？
我有 docker-compose.yml 文件。我如何将 apache hive 与 apache hadoop 连接起来？我想在配置单元上创建表。从 api 中提取数据并加载到 hadoop hdfs 中。还有另一种方法，比如创建 DockerFi...
我想将整个本地目录以及一些子目录和文件复制到HDFS。 HDFS 已经包含根目录和一些带有文件的子目录。我只想添加来自 l... 的新文件...
我正在尝试将文件输入/上传到 hdfs hadoop 但它给了我这个错误 当我运行此命令时，我得到以下信息：- hdfs dfs -put A.txt /输入/ 23/11/08 22:19:25 警告 hdfs.DFSClient:
我是猪的新手。 我想要实现的目标是从 1 个表中获取 2 个值，并查找某个 id 是否同时具有这两个项目。 例如 产品表 产品名称 豆腐 井仓 寿司 订购...
异常消息：“/tmp/hadoop-Deepshikha”不被识别为内部或外部命令、可操作程序或批处理文件
当我运行字数统计问题时，我收到此错误 C:\hadoopsetup\hadoop-3.2.4\sbin>hadoop jar C:\hadoopsetup\hadoop-3.2.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.2.4.jar wordc...
Flink 任务管理器使用 Flink Kubernetes Operator 处理卷“hadoop-config-volume”失败
我正在使用 Flink Kubernetes Operator 版本 1.1.0 开发一个应用程序，但在生成的任务管理器 Pod 中收到以下错误消息： 卷“hadoop-config-
在 Hadoop 2.0 中处理超过 300 万个小文本文件
我正在寻找以下问题陈述的解决方案（在HADOOP 2.2+版本中）。 问题陈述： 我们每天需要处理超过 300 万个文件。我们是 有兴趣捕捉...
谱系如何帮助重新计算数据？ 例如，我有多个节点，每个节点计算 30 分钟的数据。如果15分钟后失败，我们可以再次使用
我在Spark中有一个表employee_1，具有属性id和name（带数据），另一个表employee_2具有相同的属性。我想通过将 id 值加 +1 来加载数据。 我的与
在hadoop中配置完所有*.xmls文件后。我使用命令： ./sbin/start-all.sh 一切顺利我使用 jps 检查进程，所有进程都在运行。 但是当我访问 localhost:80...
创建hadoop凭证时使用： hadoop凭证创建mysql.password -provider jceks://file/home/mahadev.duary/credential.jceks 它显示以下错误：[mahadev.duary@ip-10-0-...
我正在查看 Hadoop Credentials 的文档，如 https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CredentialProviderAPI.html 但是在使用第三个
使用以下命令创建hadoop凭证时：hadoop credential create mysql.password -provider jceks://file/home/mahadev.duary/credential.jceks 它显示以下错误： hadoop 凭证创建...
Apache Hive 中的 DECIMAL 是固定长度类型吗？
在 Apache Hive 中如何获取 DECIMAL 的长度，如果它是固定长度类型，例如 16 字节或不是？ 我没有在文档中找到信息，如果它有一些方法来获取长度，比如...
配置 hadoop-azure abfs 驱动程序以作为 az CLI 用户使用存储帐户进行身份验证
我正在尝试弄清楚如何配置 ABFS - Azure Data Lake Storage Gen2 驱动程序，以便在通过 Azure CLI 登录的用户（普通用户）时使用 Azure 存储帐户进行身份验证。 我们可以...