hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

如何在其他 hql 文件中包含静态 hql?

我有多个包含重复初始代码的 hql 文件。因此,当我更改那段代码时,我必须在 12 个文件中更改它。我不知道我是否使用了错误的关键字搜索,但我...

回答 1 投票 0

升级到 Pyspark==3.5.1 后出现太多“授权提交者”错误

问题 我最近升级了我的应用程序以在 Spark3.5.1+YARN3.3.6 上运行,并观察到频繁出现“授权提交者”失败。应用程序运行 PySpark,我观察到错误......

回答 1 投票 0

Hadoop HDFS - 丢失副本和复制块之间的区别

我知道复制不足的块和错误复制的块都是由于相对于复制因子集而言数据节点数较少而发生的。 但它们之间有什么区别呢? 重新设置时...

回答 2 投票 0

Datanode 遇到 JVM 暂停问题

我使用的是 CDH 5.1.2,我经常看到此错误,其中一个数据节点经常暂停。我从日志中看到这一点。 警告 org.apache.hadoop.util.JvmPauseMonitor:检测到 JVM 或主机(例如 GC)暂停:...

回答 3 投票 0

如何安装hadoopyarn?

我正在尝试在 ubuntu 18.04 虚拟机上的伪分布式模型上上传 hadoop 纱线。我遇到以下错误: 启动资源管理器 错误:无法设置资源管理器的优先级

回答 1 投票 0

如何了解yarn队列状态结果

当我运行以下命令来查看队列的状态时: $ 纱线队列-状态我的队列 队列信息: 队列名称:我的队列 状态:正在运行 容量:10.0% 当前...

回答 1 投票 0

如何理解纱线队列myqueue的结果

当我运行以下命令来查看队列的状态时: $ 纱线队列-状态我的队列 队列信息: 队列名称:我的队列 状态:正在运行 容量:10.0% 当前...

回答 1 投票 0

Presto 查询行数组

所以我有一个 Hive 外部表,其架构如下所示: { 。 。 `x` 字符串, `y` 数组>, `z` 字符串 } 所以基本上我需要查询一列(

回答 1 投票 0

使用 Oozie 在 AWS EMR 上进行 Apache Crunch 作业

上下文: 我想在 AWS EMR 上运行 apache crunch 作业 此作业是 oozie java 操作和 oozie 子工作流管道的一部分(此特定作业是子工作流的一部分)。在 oozie 我们有...

回答 1 投票 0

Hadoop start-all.cmd 命令:datanode 关闭

我正在尝试在我的 Windows 10 中安装 hadoop 参考:https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10 Hadoop start-all.cmd com...

回答 4 投票 0

MacOS 无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 java 类

Hadoop 3.0.0 MacOS 高塞拉 10.13.3 当我跑步时 sbin/start-dfs.sh 有一个错误: 无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 java 类 我

回答 2 投票 0

Hadoop - namenode 未启动

我尝试以root用户身份运行hadoop,当Hadoop文件系统运行时,我执行了namenode格式命令hadoop namenode -format。 之后,当我尝试启动名称节点服务器时,它

回答 10 投票 0

从 hadoop 访问亚马逊 S3 存储桶,并从命令行指定 SecretAccessKey

我正在尝试使用 hdfs 命令访问亚马逊 S3 存储桶。这是我运行的命令: $ hadoop fs -ls s3n://:@/tpt_files/ -ls:无效

回答 2 投票 0

Sqoop 导入 HBase - SQL 数据库

我想将我的数据从SQL数据库迁移到HBase。我的问题之一是我的 SQL 表没有主键,因此要克服这个问题。我在 Sqoop 查询中使用复合键。我已经成功了

回答 1 投票 0

主启动无法进行,保持模式直到区域上线

我已经设置了一个具有两个节点的 Hbase 集群,并且我注意到警告“AssignmentManager:STUCK Region-In-Transition”,该警告不允许主节点启动。 节点 1:observepreserve.corp.com (

回答 2 投票 0

使用 hadoop 时出现错误“无法从 /webhdfs/v1/ 检索数据?op=LISTSTATUS:服务器错误”

我打开了localhost:9870并尝试将txt文件上传到hdfs。 我看到下面的错误消息 无法从 /webhdfs/v1/ 检索数据?op=LISTSTATUS:服务器错误

回答 6 投票 0

Hadoop 作业挂在已接受状态,纱线资源管理器日志 java.net.UnknownHostException

如标题所述,我在内部网络上部署了一个hadoop v2.6.3集群,静态ip如10.0.0.x。 然后我运行了一个示例 WordCount 程序但是,shell 只是给出输出...

回答 2 投票 0

如何将 parquet 文件复制并转换为 csv

我可以访问 hdfs 文件系统,并且可以使用以下命令查看镶木地板文件 hadoop fs -ls /用户/foo 如何将这些镶木地板文件复制到本地系统并将它们转换为 csv 以便我可以使用它们? 菲...

回答 4 投票 0

在 Spark 中明智地获取上一个值分区

我有一个输入表,其中包含 orderid 、 range 和 value1 、 value2 和 value3 。 我想根据 orderid 和范围创建 3 个新列 previousvalue1、previousvalue2、previousvalue3。这是...

回答 1 投票 0

如何使用.hql文件执行HQL命令

我是 Hive 新手,想知道如何直接从 .hql 文件执行 Hive 命令。

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.