hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

Apache Spark 的主键

我与 Apache Spark 和 PostgreSQL 有 JDBC 连接,并且想要将一些数据插入我的数据库。当我使用追加模式时,我需要为每个DataFrame.Row指定id。有什么办法可以让Sp...

回答 4 投票 0

Hadoop MapReduce 代码失败,状态为 FAILED,原因是:NA

我正在尝试运行下面的 Hadoop mapreduce 程序。 公共静态类 MovieFilterMapper 扩展 Mapper { 私有文本 movieId = new Text();

回答 1 投票 0

以优化的局部性访问 HDFS 数据

我想知道,如何确保HDFS数据访问充分利用本地复制,尽量减少网络传输的使用。 我在 3 台机器上托管 HDFS,并且复制设置为 3...

回答 1 投票 0

在 OS/X 上找不到 Hadoop 本机库

我已经从github下载了hadoop源代码并使用native选项编译: mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true 然后我将 .dylib 文件复制到 $

回答 5 投票 0

如何在hive中添加jar文件

我尝试使用ADD JAR hive-contrib-0.10.0.jar命令在hive中添加hive-contrib-0.10.0.jar,但它总是说hive-contrib-0.10.0.jar不存在。 我现在使用的是 HDP 2.1 版本。我...

回答 5 投票 0

使用Sqoop从MySQL导入数据到HBase时,出现错误

我尝试执行以下命令 ./bin/sqoop import --connect jdbc:mysql://localhost:3306/dblab --用户名 root --密码 123456 --table user_action --hbase-table user_action --column-fa...

回答 1 投票 0

使用 CTE 创建的 Hadoop 视图行为不当

这是视图定义(运行良好。视图已创建) 创建或替换视图 my_view 与第一季度一样 AS (SELECT MAX(LOAD_DT) AS LOAD_DT FROM load_table WHERE UCASE(TBL_NM) = 'FACT_TABLE') 选择 F。

回答 1 投票 0

Hadoop localhost:9870 浏览器界面无法正常工作

我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。一些

回答 1 投票 0

如何在bigquery、h2、hadoop和prestoSQL数据库中查询季度开始和季度结束?

我想为任何带有时间戳的日期编写季度开始和季度结束的查询。 例如,如果我传递当前时间戳,它应该返回相应日期的四分之一第一天...

回答 1 投票 0

日常如何使用nodejs在Hadoop中存储sqlite文件

我想在nodejs的帮助下将sqlite文件存储在hadoop中,并且存储将每天进行(就像创建一个调度程序来安排在hadoop中存储文件一样)。 我尝试先存储...

回答 1 投票 0

Windows 上的 Hadoop - “错误 JAVA_HOME 设置不正确。”

我正在尝试让 Hadoop 在我的 Windows 计算机上运行“本地模式”。我一直在使用本指南:http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html 当我运行命令:bin/hadoop时,我...

回答 0 投票 0

我的sparkDF.persist(DISK_ONLY)数据存储在哪里?

我想更多地了解spark中hadoop的持久化策略。 当我使用 DISK_ONLY 策略保存数据帧时,我的数据存储在哪里(路径/文件夹...)?我该在哪里...

回答 2 投票 0

hive 在分区表上添加列不起作用

我分享在分区 Hive 表上添加列的经验。 正如您所看到的,尽管有 CASCADE 功能,但 ALTER 会破坏我的表:( 在分区表上添加列 表格描述...

回答 2 投票 0

mapreduce 的缺点是什么?

mapreduce 的缺点是什么? MapReduce 有很多优点。但我也想知道mapreduce的缺点。

回答 5 投票 0

Hadoop:错误:java.lang.RuntimeException:配置对象时出错

我已经安装了 Hadoop 并且运行完美,因为我运行了字数统计示例并且它运行得很好。现在我尝试继续做一些更真实的例子。我的例子是在这个网站上完成的...

回答 4 投票 0

copyFromLocal 文件未找到 - 使用 pyspark 脚本将 infile csv 复制到 hdfs 位置的命令

我在 Spark 脚本中使用以下代码。在这里,我想将数据文件从本地复制到 HDFS 位置。当从 shell 手动运行 HDFS 命令时,它工作正常。但是

回答 1 投票 0

Hadoop 查找包含单词列表的所有文档

我意识到这可以在一台机器上使用 HashMap 然后所有文档名称的交集来完成,但是我很好奇 Hadoop 将如何解决这个问题。可以吗...

回答 1 投票 0

无法运行配置单元

尝试运行配置单元但当前收到此错误。错误尝试将此行 hive-site.xml 添加到我的 hive-site.xml 但我仍然得到相同的“HiveConf 名称 hive.server2.enable.imperson...

回答 1 投票 0

从远程 Spark 连接到 Hive 元存储

我有安装了 hive 和 Spark 的 hadoop 集群。此外,我有一台单独的工作站计算机,我正在尝试从它连接到集群 我在这台机器上安装了 Spark 并...

回答 1 投票 0

Spark 3.1.2、Hadoop 3.2.1 和 AWS Hadoop 依赖项的问题

我在 Java Spark 应用程序中遇到 Spark、Hadoop 和 AWS Hadoop 依赖项的兼容性问题。 我本地机器上运行的Spark版本是3.1.2。 问题: 我正在研究...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.