Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
在 Hive 外部表上执行 INSERT INTO 是否也会将行插入底层 HDFS 数据集？
我有一个 Hive 外部表“customer_main”映射到基于 .orc 的 HDFS 数据集，该数据集的路径为“/dev/customer/customer_main/”。如果我运行 INSERT INTO customer_main VALUES() 来插入一行...
我的问题是如何通过字符串中的指示获取 Hive 中的子字符串。我的列值格式如下： /国家/州/城市/郊区/街道 在这里我只需要获取国家/地区。 我有喜欢...
trino：从 hdfs 读取 io.trino.spi.trinoexception 错误，原因是 java.io.ioexception 4 个缺失块，条带是：AlignedStripe
我有 trino 可以使用 hive 连接器查询 hdfs。 并非总是如此，但有时会出现此错误： 从 hdfs 读取 io.trino.spi.trinoexception 错误，原因是 java.io.ioexception 4 缺失
我与 Apache Spark 和 PostgreSQL 有 JDBC 连接，并且想要将一些数据插入我的数据库。当我使用追加模式时，我需要为每个DataFrame.Row指定id。有什么办法可以让Sp...
Hadoop MapReduce 代码失败，状态为 FAILED，原因是：NA
我正在尝试运行下面的 Hadoop mapreduce 程序。 公共静态类 MovieFilterMapper 扩展 Mapper { 私有文本 movieId = new Text();
我想知道，如何确保HDFS数据访问充分利用本地复制，尽量减少网络传输的使用。 我在 3 台机器上托管 HDFS，并且复制设置为 3...
我已经从github下载了hadoop源代码并使用native选项编译： mvn package -Pdist，native -DskipTests -Dtar -Dmaven.javadoc.skip=true 然后我将 .dylib 文件复制到 $
我尝试使用ADD JAR hive-contrib-0.10.0.jar命令在hive中添加hive-contrib-0.10.0.jar，但它总是说hive-contrib-0.10.0.jar不存在。 我现在使用的是 HDP 2.1 版本。我...
我尝试执行以下命令 ./bin/sqoop import --connect jdbc:mysql://localhost:3306/dblab --用户名 root --密码 123456 --table user_action --hbase-table user_action --column-fa...
这是视图定义（运行良好。视图已创建） 创建或替换视图 my_view 与第一季度一样 AS (SELECT MAX(LOAD_DT) AS LOAD_DT FROM load_table WHERE UCASE(TBL_NM) = 'FACT_TABLE') 选择 F。
Hadoop localhost:9870 浏览器界面无法正常工作
我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。一些
如何在bigquery、h2、hadoop和prestoSQL数据库中查询季度开始和季度结束？
我想为任何带有时间戳的日期编写季度开始和季度结束的查询。 例如，如果我传递当前时间戳，它应该返回相应日期的四分之一第一天...
日常如何使用nodejs在Hadoop中存储sqlite文件
我想在nodejs的帮助下将sqlite文件存储在hadoop中，并且存储将每天进行（就像创建一个调度程序来安排在hadoop中存储文件一样）。 我尝试先存储...
Windows 上的 Hadoop - “错误 JAVA_HOME 设置不正确。”
我正在尝试让 Hadoop 在我的 Windows 计算机上运行“本地模式”。我一直在使用本指南：http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html 当我运行命令：bin/hadoop时，我...
我的sparkDF.persist(DISK_ONLY)数据存储在哪里？
我想更多地了解spark中hadoop的持久化策略。 当我使用 DISK_ONLY 策略保存数据帧时，我的数据存储在哪里（路径/文件夹...）？我该在哪里...
我分享在分区 Hive 表上添加列的经验。 正如您所看到的，尽管有 CASCADE 功能，但 ALTER 会破坏我的表:( 在分区表上添加列 表格描述...
Hadoop：错误：java.lang.RuntimeException：配置对象时出错
我已经安装了 Hadoop 并且运行完美，因为我运行了字数统计示例并且它运行得很好。现在我尝试继续做一些更真实的例子。我的例子是在这个网站上完成的...
copyFromLocal 文件未找到 - 使用 pyspark 脚本将 infile csv 复制到 hdfs 位置的命令
我在 Spark 脚本中使用以下代码。在这里，我想将数据文件从本地复制到 HDFS 位置。当从 shell 手动运行 HDFS 命令时，它工作正常。但是
我意识到这可以在一台机器上使用 HashMap 然后所有文档名称的交集来完成，但是我很好奇 Hadoop 将如何解决这个问题。可以吗...