hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

错误:spark-shell \Spark in\..' 此时出乎意料

我正在使用 Windows 10。 想要在我的机器上安装 Apache Spark。 官方下载页面在这里。 我按照文章在此处完成了 Apache Spark 安装。 我做了什么 : 安装/添加

回答 1 投票 0

从kafka读取数据并写入hadoop/hbase/hive/spark堆栈批量处理

我有一个技术堆栈,其中 Hadoop 作为原始数据的分布式存储,HBase 作为在 Hadoop 和 HDFS 之上运行的 NoSQL 数据库,Hive 作为 Hive 之上的 RDBMS 数据仓库,用于应用程序...

回答 1 投票 0

如何判断hadoop namenode是否已经格式化?

第一次配置我的hadoop namenode时,我知道我需要运行 bin/hadoop namenode -格式 但在将数据加载到 HDFS 后,第二次运行此操作将清除所有内容,

回答 2 投票 0

Hadoop:权限被拒绝(公钥、密码、键盘交互)

在安装 Hadoop 时,我遇到了很多错误,但这个错误就是无法解决。无论我做什么,它都会一次又一次地弹出。一旦我通过命令 ./start-all.sh 启动 Hadoop,我就会得到

回答 3 投票 0

在“start-dfs.sh”之后出现错误“权限被拒绝(公钥,密码)”

这个问题之前被问过几次,我尝试了所有建议的解决方案来生成无密码密钥,但无济于事。可能需要做一些不同的事情,就像在......上执行此操作时一样

回答 2 投票 0

本地主机:prathviraj18@localhost:权限被拒绝(公钥,密码)

prathviraj18@prathviraj18:~$ start-dfs.sh 在 [localhost] 上启动名称节点 本地主机:prathviraj18@localhost:权限被拒绝(公钥、密码)。 启动数据节点 本地主机:prathviraj18@loc...

回答 3 投票 0

如何在Hadoop上使用运行时分区

我在hadoop中有两个parquet数据源,它们都有运行时过滤器。 我有一个查询,它将每个表中的一些数据连接到一个结果集中。 每桌都有一个烤箱...

回答 1 投票 0

Docker - Hive 出现 Postgres 错误

我已经设置了三个联网的容器,因为我想将 Hadoop 和 Hive 与 PostgreSQL 一起使用。您可以通过 https://github.com/jcool12/hadoop-docker/tree/main/hi... 访问 Docker 设置

回答 1 投票 0

一台机器启动spark-shell成功,另一台机器启动失败

机器和spark集群都在同一个本地网络中。 我的一台机器 0.0.0.99 已经与 Spark 集群连接。 由于业务需要,我们不得不使用另一...

回答 1 投票 0

停用hdfs中的数据节点

我在 Apache hdfs 中有一些复制因子为 1 的数据节点,想要停用其中一些节点,并且不想丢失存储在其中的数据。 由于数据量太大,无法下载数据...

回答 1 投票 0

HDFS 复制因子对 namenode 内存的影响

增加复制因子是否会增加 HDFS 中名称节点的内存使用量? 此链接指出复制因子对名称节点内存使用没有影响,但另一个链接指出不然。

回答 1 投票 0

Docker Hive - /entrypoint.sh:第 4 行:pg_isready:找不到命令

我已经设置了三个联网的容器,因为我想将 Hadoop 和 Hive 与 PostgreSQL 一起使用。您可以通过 https://github.com/jcool12/hadoop-docker/tree/main/hi 访问设置的 docker...

回答 1 投票 0

hadoop 的名称节点和数据节点之间的集群 ID 不兼容

在 Windows 11 上,我安装了最新可用版本的 Docker Desktop。之后,我访问了官方 Apache Hadoop GitHub 存储库:https://github.com/apache/hadoop/tree/docker-had...

回答 1 投票 0

hadoop/hdfs/name 处于不一致状态:存储目录(hadoop/hdfs/data/)不存在或不可访问

我已经尝试了 stackoverflow 上提供的有关此主题的所有不同解决方案,但没有帮助 再次询问具体的日志和详细信息 任何帮助表示赞赏 我有一个主节点...

回答 7 投票 0

需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS,但不使用 Confluence 库(如果不是完全免费的话)

我想使用 Kafka Connect 将 JSON 消息从 Kafka 移动到 HDFS,然后移动到 Impala,仅使用开源库。 我试图了解是否可以使用 Kafka Conn 的 Confluence Sink 库......

回答 1 投票 0

PutHDFS Nifi问题

早上好,我想创建一个从某个 URL 到我的 HDFS 的 Nifi 流。我使用我的个人构建和 Dockerfile 在本地创建了 HDFS 集群,它正在工作,但是当我尝试使用

回答 1 投票 0

Uber 模式配置设置已对齐,但作业不在 Uber 模式下执行

根据 Hortonworks 的文档,在“uber 模式”下执行 Hadoop 作业的方法是配置 maprep-site.xml 设置,如下所示: <

回答 2 投票 0

使用geopandas从HDFS读取shapefile

我的 HDFS 上有一个 shapefile,我想使用 geopandas(版本 0.8.1)将其导入到我的 Jupyter Notebook 中。 我尝试了标准的 read_file() 方法,但它无法识别 HDFS 目录...

回答 2 投票 0

如何在Spark中检查HDFS目录是否为空

我正在使用org.apache.hadoop.fs来检查HDFS中的目录是否为空。我查找了 FileSystem api,但找不到任何接近它的东西。基本上我想检查目录是否...

回答 3 投票 0

Hive 安装问题:Hive Metastore 数据库未初始化

我尝试在树莓派2上安装hive。我通过解压缩压缩的Hive包来安装Hive,并在我创建的hduser用户组下手动配置$HADOOP_HOME和$HIVE_HOME。跑步时嗨...

回答 6 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.