Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
尝试将文件放入 hdfs 时出现此错误。 org.apache.hadoop.net.ConnectTimeoutException：60000 毫秒超时 等待通道准备好连接。频道： java.nio.chan...
Hadoop、Jersey 和 JBoss：应用程序无法启动
我对 JBoss 几乎一无所知。昨天之前从来没有接触过它，仍然不太了解它。但是，我公司的一位客户正在使用它来部署我们的应用程序，以及我们最新的 ...
vertext 失败错误和 Mapper 初始化失败 - Hive
我在具有 2 个节点的服务器中使用 Hortonworks 数据平台。我在配置单元中成功运行查询。突然我面临着与源表的映射以将列添加到我的新表中，通过下面的曲...
在Hadoop中，如果我们没有设置reducer的数量，那么会创建多少个reducer？ 就像映射器的数量取决于（总数据大小）/（输入分割大小）， 例如。如果数据大小...
hadoop wordcount mapreduce 示例的输出在 Windows 上为空（hadoop 在本地运行）
嗨，这是我第一次在 stackoverflow 上提问，我的英语不好。 我已经谷歌了很多次，但仍然没有找到解决我问题的方法。 我的问题是在运行 mapreduce 之后
我正在尝试在配置单元中使用窗口函数 count distinct，但出现错误。 使用的查询如下： 选择 用户 ,dt ,count(distinct dt) over(partition by user) 作为日期 从表...
How to resolve schematool not found error in hive while installing on windows 10
How to resolve schematool not found error in hive while installing on windows 10 schematool -dbType derby -initSchema -bash: schematool: 找不到命令 解决这个问题的解决方案
java.lang.NoSuchMethodError: org.apache.hadoop.hive.common.FileUtils.mkdir 试图将表保存到 Hive
我正在尝试读取 kafka 流并将其作为表保存到 Hive。 消费者代码是： 导入 org.apache.spark.sql.{DataFrame, Dataset, SaveMode, SparkSession} 导入 org.apache.spark.sql.functi...
kyc_interfaces_audit 是在 partition_key_1 上分区的分区表 此命令成功运行并创建了索引： 在表 kyc_interfaces_audit 上创建索引 index_interfaces(
迁移到 Kubernetes 时出现 Spark StackOverflow 问题
我最近将我们的 spark 集群从 Yarn 迁移到 Kubernetes，并将 spark 版本从 2.4 升级到 3.1.1。即使不使用检查点，我的应用程序在 Yarn 上也能正常工作，ho...
UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
我正在尝试在 pycharm 的本地机器上运行 pyspark 测试用例 我仅在代码中定义 java 和 winutils 路径 导入操作系统 os.environ["JAVA_HOME"] = "C:\Program Files\Java\jd...
问题：使用cte时无法在目录中创建文件 我正在尝试使用 CTE 获取值以将文件插入用户目录。我已经能够在目录中成功创建文件......
错误：java.lang.NoClassDefFoundError：在 Hadoop 中运行 TestDFSIO 时的 junit/framework/TestCase
当我尝试在 Hadoop ubuntu 中运行 TestDFSIO 时，我得到了“java.lang.NoClassDefFoundError：junit/framework/TestCase”，我不知道要修复它。 这是我运行 testdfsio 的命令 “纱缸……
flink sql with Couldn't retrieve Yarn cluster
当我运行“sql-client.sh -f flinkSQL.sql”时 我收到错误消息“java.lang.RuntimeException：Yarn 应用程序 application_1675126034346_0011 不再运行。” 在日志中 2023-03-27...
项目需要使用Apache Spark中的dSpark插件。我怎么做？ 我有 dSpark 的代码并且我已经安装了 Spark。 但我不确定我应该如何进一步进行。
如何从现有表中删除 With SerdeProperties。我有 2 个字段 1).field.delim 2).序列化格式 我要么需要将它们设置为默认值，要么取消设置属性。我该如何实现...
我是 Hadoop 的新手，我已经按照不同的教程在 Ubuntu 上安装了它。具体来说，我遵循了本教程： https://medium.com/@festusmorumbasi/installing-hadoop-on-...
我运行一个数据节点：./bin/hdfs datanode -conf ./etc/hadoop/datanode1.xml 只有一个工作 当我尝试运行两个时：“datanode 正在作为进程运行。首先停止它并确保 /tmp/hadoop-user-datan ...
assertThat() 方法是什么？怎么会有用？ 我在 hadoop 的 mapreduce 程序中看到过这种方法。谁能简单解释一下？
Hadoop：start-dfs.sh 给出 WARN util.NativeCodeLoader：无法为您的平台加载本机 hadoop 库...使用内置 java 类
我是数据科学和 Hadoop 的新手，我已经按照教程“https://youtu.be/_btD1nDY6hk”在我的 mac 设备上成功安装了 Hadoop。但是在尝试启动 dfs 或运行时 明星...