hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

运行hadoop错误:JAVA_HOME /usr/bin/java不存在

Ubuntu 16.04.1 LTS 我已经通过 sudo apt-get install default-jdk 安装了 java $ java -版本 openjdk版本“1.8.0_292” OpenJDK 运行时环境 (build 1.8.0_292-8u292-b10-0ubuntu1~16...

回答 4 投票 0

Hadoop MapReduce WordPairsCount 产生不一致的结果

当我在 Hadoop 上运行 MapReduce 时,结果非常令人困惑。这是代码(见下文)。正如您所看到的,这是一个非常简单的 MapReduce 操作。输入是 1 个目录,其中有 100 个 .lineperdoc ...

回答 1 投票 0

HDFS 由于“状态备用时不支持操作类别 WRITE”而出现许多坏块 - 了解为什么 datanode 找不到 Active NameNode

最近我想将集群从2.6.5升级到3.1.3,但失败了。所以我将版本回滚到旧版本。但是发生了一些奇怪的事情。我们集群的datanode无法将块的情况报告给...

回答 1 投票 0

无法使用WebUI预览加载到HDFS的数据

我正在尝试使用端口 9870 通过 WebUI 查看 HDFS 上的数据。我可以从终端查看数据,但收到如下所示的错误代码。我正在尝试以完整集群模式运行 Hadoop (1

回答 1 投票 0

将行减少到 hsql 中的映射结构

hadoop/hive 新手,需要将一组行缩减为映射数据类型,如下所示; 从 第 1 列 第2栏 杰夫 史密斯 史蒂夫 棕色的 到 第 1 列 第2栏 1 {“杰夫”:“史密斯”},{“圣...

回答 1 投票 0

在 hive 中将 varchar(7) 转换为十进制 (7,5)

我有一个像配置单元表中的值 0050000 0100000 0005000 我想将其转换为十进制(7,5) 我试过 SELECT CAST(column_A AS DECIMAL(7,5)) AS Converted_column FROM 表名; 但是笑...

回答 1 投票 0

安装hadoop时出现“HADOOP_COMMON_HOME”错误

我第一次在 VMFusion 上的 Ubuntu 18.04 上安装 hadoop (3.2.2)。在安装结束时,当我运行“hdfs namenode -format”时,它显示:错误:无效的 HADOOP_COMMON_HOME。 这是...

回答 2 投票 0

杀死协调器后如何让oozie工作流程运行?

我已经使用oozie有一段时间了,我想杀死一个协调员,但我不想杀死由协调员启动的工作流程。 我为什么要这么做?我有一个场景

回答 2 投票 0

spark中的Driver和Application manager有什么区别

我无法弄清楚Spark driver和application master之间有什么区别。基本上是运行应用程序的职责,谁做什么? 在客户端模式下,客户端机器有...

回答 2 投票 0

提取hive sql中数值之前的所有字符

我的 COD 列如下: 化学需氧量 跨太平洋伙伴关系协定 电话_9985 短信@TELL-1256 短信@123 我想提取数值之前的所有字符,期望结果是: 化学需氧量 跨太平洋伙伴关系协定 电话 短信@告诉 文本 我试过没有

回答 1 投票 0

在 Docker 中配置 CentOS 时遇到问题

我使用 Dockerfile 配置了 CentOS,我打算利用 CMD ["/usr/sbin/sshd", "-D"] 使 SSH 服务在每次容器启动时自动启动。

回答 1 投票 0

gzip 文件如何存储在 HDFS 中

HDFS存储支持压缩格式来存储压缩文件。我知道 gzip 压缩不支持夹板。现在想象一下该文件是一个 gzip 压缩文件,其压缩大小为 1 G...

回答 2 投票 0

如何使用 log4j 自定义附加程序在 HDFS 上创建日志?

概述 我们希望使用 log4j 记录 Spark 作业活动,并将日志文件写入 HDFS。 Java 8、Spark 2.4.6、Scala 2.1.2、Hadoop 3.2.1 我们无法找到本地 apache log4j 附加程序来写入...

回答 1 投票 0

配置在windows上运行的pentaho 9.3来访问linux上的hadoop集群和目录

我已经在 Linux 上的两个节点集群上安装了 Hadoop,并且它运行完美,在 3 个虚拟机上,我在 Windows 上安装了 Pentaho,我正在尝试创建与集群的连接,但是...

回答 1 投票 0

Spark-Hive 应用程序:集群上的 SASL 与 Kerberos 协商失败

我在 Kerberos 集群上运行的 Spark-Hive 应用程序遇到问题。我收到 javax.security.sasl.SaslException:GSS 启动失败错误,这似乎是由于未找到 ...

回答 1 投票 0

错误:java.net.NoRouteToHostException没有到主机的路由

我在配置单元中从客户中运行 select * 并得到结果。 现在,当我运行 select count(*)customers 时,作业状态失败。在 JobHistory 中我发现了 4 个失败的地图。 在地图日志文件中我有...

回答 3 投票 0

找不到纱线应用日志

工作完成后。我可以从 WebUI 跟踪作业历史记录日志,但无法从 datanode(运行 Nodemanger 服务)本地文件系统找到日志,也找不到 hdfs://user/who/.stag 下的日志...

回答 2 投票 0

如何连接远程HDFS

我正在尝试连接到远程计算机上运行的 HDFS 实例。 我在 Windows 机器上运行 eclipse,而 HDFS 在 Unix 机器上运行。这是我尝试过的 配置...

回答 1 投票 0

将 presto 连接到 hive-hadoop3 时出现问题

我的集群上有 hadoop 3.1.2 和 hive 3.1.2,我想使用 presto-server-0.265.1 连接到 hive。 我在 /opt/presto/etc/catalog 中只有一个目录文件,这里的 hive.properties 是: 连接器。

回答 1 投票 0

hadoop安装期间无法运行yarn

我正在本地 Windows 计算机上安装 HDFS。我遵循的安装指南是 https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window...

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.