hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

Hadoop:start-dfs.sh 权限被拒绝

我正在笔记本电脑上安装 Hadoop。 SSH 工作正常,但我无法启动 hadoop。 munichong@GrindPad:~$ ssh localhost 欢迎使用 Ubuntu 12.10 (GNU/Linux 3.5.0-25-generic x86_64) * 文档:...

回答 11 投票 0

Vertica:输入记录 1 已被拒绝(找到的列太少)

我正在尝试将文件从 Hadoop 复制到 Vertica 表,但出现错误。 问题是相同的副本有时会通过有时会失败,知道吗? 错误: 引起:java.sql.SQLException:[

回答 4 投票 0

Sqoop导入报错Error: java.io.IOException: SQLException in nextKeyValue

我编写了一个脚本来执行从 oracle 表到 HDFS 目录的数据增量导入。我使用以下 sqoop 命令进行导入: sqoop——导入\ --连接$

回答 3 投票 0

如何从Pyspark代码获取可用的免费集群资源信息

由于某些奇怪的原因,我们在开发 Spark 应用程序时不允许访问 Spark UI 和 Resource Manager UI。但是需要知道有多少资源可用,比如可用集群

回答 0 投票 0

Hive 中是否有字符串数据类型的最大大小?

谷歌一吨,但没有在任何地方找到它。或者这是否意味着只要允许集群,Hive 就可以支持任意大字符串数据类型?如果是这样,我在哪里可以找到最大尺寸的 st...

回答 2 投票 0

Yarn 分配新的 spark 提交不管我

我远程连接到 ec2 并正在使用 vscode jupyter notebook。 我和 yarn master 正常创建了一个 spark session,所有执行者都能够执行任务。 然而,突然间,一个新的应用程序......

回答 0 投票 0

尝试将文件复制到 Hadoop 时出现“没有这样的文件或目录”或目录错误

我是 Hadoop 的新手,我试图将目录中的所有文本文件复制到 Hadoop 中,但我一直收到“没有这样的文件或目录”错误。 我正在尝试运行此命令; hdfs dfs -cp $PWD/*.txt ...

回答 0 投票 0

Hadoop 流式 Python Mapper 和 reducer 错误消息打印。这可能吗?

大家好,首先感谢您的光临。 我正在使用 python 映射器和 reducer 进行 Hadoop 流式传输作业。 因此我的命令看起来像 yarn jar /where/hadoop-version/blahblah/ha...

回答 0 投票 0

LivyClient 无法上传具有依赖关系的 jar

下面是我的代码。 LivyClient 无法上传具有依赖关系的 jar,它会抛出异常 java.util.concurrent.ExecutionException。请帮助解决这个问题。 公开课 LivyConfi...

回答 0 投票 0

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2

我对使用 hadoop 还很陌生,当我在 hadoop 上运行文件时遇到了这些异常。请帮助。在这里输入图像描述[在此处输入图像描述](https://i.stack.imgur。 com/b6rHI...

回答 0 投票 0

sshd:没有可用的主机密钥——正在退出

类似问题 在问这个问题之前,我在 stackoverflow 和其他平台上看到了类似的问题,但它们并没有帮助我找到解决方案并理解正在发生的事情......

回答 0 投票 0

是否可以将 parquet 文件从 h2o on hadoop 写入本地存储?

我正在 Hadoop 集群上使用 h2o(最新版本 3.26.0.10)。我已经从 HDFS 读取了一个镶木地板文件,并对它进行了一些操作,建立了一个模型等。 我储存了一些重要的

回答 1 投票 0

无法在 postgres 中升级 hive metastore

我正在将 Hive 从 2.3.2 升级到 3.1.3 在配置单元 Metastore 服务启动期间,我遇到了与版本相关的错误。该 Metastore 是 2.3.2 版本,它需要 3.1.3 所以我尝试使用

回答 1 投票 0

启动配置单元独立 Metastore 3.0.0 时加载 PartitionExpressionProxy 时出错

我正在尝试在 kubernetes 中运行 HMS(独立 v3.0.0),同时连接到 postgresql(启用 ssl)。我成功地使用 schematool -dbType postgres -initSchema 来构建需要的表...

回答 0 投票 0

HBase 2.4 RegionCoprocessor 抛出 UnknownProtocolException

我开发了一个端点协处理器,它在HBase 1.4中运行良好,但是当我使用HBase 2.4的代码时,它出现了UnknownProtocolException。 在 regionserver 日志中,我收到消息说 hbase 有

回答 1 投票 0

无法连接到 pyspark 纱线资源管理器

错误详情如下 /tmp/hadoop-mrl/nm-local-dir/usercache/mrl/appcache/application_1677651248789_0002/container_1677651248789_0002_02_000001/launch_container.sh:第 55 行:意外的 EOF 而

回答 0 投票 0

Apache Hadoop MiniKDC:编译失败 |已经为此工作了一段时间,maven 的新手,请帮我解决这个错误

这是我在构建项目时遇到的错误,任何人都可以提供帮助。 搜索了几天,但无法解决问题。 --------------------------------------...

回答 0 投票 0

我已经为此工作了很长一段时间,maven 的新手,请帮我解决这个错误

这是我在构建项目时遇到的错误,任何人都可以提供帮助。 搜索了几天,但无法解决问题。 --------------------------------------...

回答 0 投票 0

我怎样才能解决这个问题:hadoop namenode -format 给出错误?

我设置了 Hadoop HA 集群。 我尝试将 hadoop 格式化为以下代码: hdfs --loglevel DEBUG namenode -format -force 然后当我看到日志时(它不是 DEBUG 模式,这是我遇到的另一个问题...

回答 1 投票 0

无法从 JAR 文件中获取作业 jar 和依赖项:JAR 文件不存在:

当我将文件从 hdfs 提交到 flink 作为作业时,它显示“无法从 JAR 文件中获取作业 jar 和依赖项:JAR 文件不存在”,但该文件已预设在 gi ...

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.