Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
配置hadoop.service.shutdown.timeout属性
我需要配置 hadoop.service.shutdown.timeout 的值，因为当我们的 MR 作业停止时关闭钩子会触发超时： 2023-08-25 08:44:39,566 [警告] [Thread-0] [org.apache.hadoop.u...
错误 [HYT00] [Microsoft] [Hardy] 查询执行超时已过期。 Hive ODBC 连接
使用 Microsoft Hive ODBC 驱动程序 hive 2.1.12.1017 连接具有 hadoop 设置的 Linux 计算机上的 Hive。 选择大数据查询会出现此错误： 错误 [HYT00] [Microsoft] [Hardy] 查询
HBase：无法存储数据（org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException）
无法使用table.put(p)方法存储数据，抛出异常： 线程“main”中的异常 org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException：失败 1 个操作：org.
我想知道是否有人可以帮助我了解如何使用 Hive 的 regexp_replace 函数来捕获正则表达式中的组并在替换字符串中使用这些组。 我有一个示例问题...
配置错误：namenode地址dfs.namenode.rpc-address未配置
当我尝试启动 DataNode 时收到此错误。据我所知，RPC 参数仅用于 HA 配置，我没有设置（我认为）。 2014-05-18 18:05:00,589
我正在使用 Hive 0.13，表值的 STRING 列中有 1.250,99 我想将这些值转换为十进制，所以我必须替换“。”通过“”和“，”通过“。”结果是 1250.99 ...
我想为我的元表创建快照，就像其他用户表一样。 但出现错误： hbase(main):003:0> 快照 'hbase:meta','hbase_meta_snapshot' 错误：系统表快照是...
我们正在尝试将 hdfs（parquet 文件）中存在的大约 50 亿条记录索引到 solr 上的集合。我们使用的是 solr 7.2.1。我们已经生成了一个由 7 个数据节点组成的 emr 集群（16 个 VCore、128 GB e...
使用 Spark 读取 S3 文件时提供 AWS_PROFILE
我希望我的 Spark 应用程序 (Scala) 能够读取 S3 文件 Spark.read.parquet("s3://my-bucket-name/my-object-key") 在我的开发机器上，我可以使用 awscli 预配置的 p...
Sqoop 导入失败：尝试导入 Oracle 表时无法转换 SQL 类型 2005
尝试从 Oracle 数据库导入表作为 parquet 文件时出现以下错误。 错误工具.ImportTool：导入失败：无法转换 SQL 类型 2005 这个问题已经...
使用此链接尝试连接到远程配置单元。下面是使用的代码。下面还给出了收到的错误消息 如何通过Python访问Hive？ 代码 从 pyhive 导入配置单元 conn = 蜂巢。
pySpark 无法保存 parquet 文件 UnsatisfiedLinkError
我无法将数据帧保存到本地存储。 这个神秘的堆栈跟踪似乎与某些 java.lang.UnsatisfiedLinkError 有关。有人见过这种类型的错误吗？ # 定义元组列表
Presto 和 Hadoop 在 Graviton2 实例上运行的兼容性
哪个 Presto 版本提供与 Graviton 处理器的兼容性？ Presto 是否依赖 Hadoop？如果是，Presto 是否需要特定兼容版本的 Hadoop 才能在
有关在 Hive 存储表中创建/插入数据的建议。 做了一些阅读（https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables）并测试了一些选项，但没有
Hadoop：MapReduce 作业给出 Java 库错误
当我在 Cloudera VM 中运行任何 MapReduce 作业时，以下警告会连续出现 4-5 次。请让我知道如何解决它。 16/11/06 00:47:38 警告 hdfs.DFSClient：捕获异常...
当 hive.execution.engine 设置为 MR 时，Hive 查询失败，当设置为 Tez 时，它们可以工作？
我在工作中使用 HDP 2.1 沙箱。 jar 文件列出的 hive 版本为：hive-exec-0.13.0.2.1.1.0-385.jar。 我在 HDFS 中创建了一个包含天气信息的目录。实际的
我无法将微观策略连接到 Hive。 我已遵循这里的每一条指示 我也阅读了微观策略的技术说明。我可以成功连接到端口 8020，但是当我...
我尝试了很多，阅读了很多spark和hive的文档。事情甚至不相符。例如 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started 在 hive 的文档中...
Hadoop 安装错误，“错误：无法执行 hdfs-config.sh。”
我正在按照本教程在我的计算机上安装hadoop。据我所知，我已经完全按照说明进行操作，直到 source ~/.profile，但是当我尝试通过输入 hdfs 来格式化 HDFS