hadoop 相关问题

Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。

我正在尝试使用命令 date_format 将字符串转换为微秒的日期询问：选择 date_format('2021-04-14 16:07:47.123456', 'yyyy-MM-dd HH:mm:ss.SSSSSS') 结果： 2021-04-14 1...

sql hadoop hive

回答 1 投票 0

带有 SERDEPROPERTIES 的 Hive CREATE TABLE 语句会引发错误

我正在进行从 HDP 到 AWS EMR 的迁移项目。作为这项工作的一部分，我们使用 HDP 中的 CREATE TABLE 语句在 EMR Hive 中创建表，这是使用 show create 获得的

hadoop hive hiveql amazon-emr hortonworks-data-platform

回答 1 投票 0

无法在 Hive 查询中定义动态参数

我正在尝试在 Hive 中设置一些视图，这些视图将日期作为动态参数。在我下面的工作中，我已改为在 Select 子句中使用 hiveconf 变量，这样我们就可以看到什么......

hadoop hive

回答 2 投票 0

Hadoop：有 0 个数据节点正在运行，并且此操作中没有排除任何节点

我在VMware上部署了Hadoop集群。它们都运行在 CentOS 7 上。在 Master 上发出命令 jps： [root@hadoopmaster 安娜]# jps 6225 名称节点 6995 资源管理器 6580 辅助名称节点 7254 日元发出com...

hadoop hdfs

回答 5 投票 0

Cat 文件与 HDFS 中的模式不匹配？

我正在尝试在 hadoop HDFS 中查找与以下模式不匹配的文件 hdfs dfs -cat /*.gz 如何捕获所有不以 .gz 结尾的文件？编辑：抱歉，但我需要在 Hadoop 中查找文件，

hadoop hdfs

回答 1 投票 0

hadooop 3.3.6 资源管理器不工作

我使用的是 ubuntu 22.04 电脑，带有 djk 17、java 11、hadoop 3.3.6 ````bash cd hadoop/hadoop-3.3.6/sbin ./start-all.sh ```` 输出： ```明文警告：尝试启动所有 Apache Hadoop 守护进程...

hadoop hadoop-yarn

回答 1 投票 0

提高此窗口密集型查询的性能

我在 HQL 中有以下代码。它从包含超过 25 亿行和大约 334 列的表中提取数据。运行需要一段时间，因此我正在寻找任何可能的潜在性能提升。 ...

sql hadoop hive hql

回答 1 投票 0

Hadoop CDH4 和 Eclipse Juno

有人成功地针对 CDH4 安装为 Juno 构建了 eclipse 插件吗？我在网上看到过CDH3。寻找CDH4。非常感谢。

eclipse-plugin hadoop

回答 3 投票 0

设计机架感知功能？

我想了解kafka、hadoop等产品中机架感知的设计。这些系统中是如何构建机架感知的，hadoop 如何知道哪个服务器位于

hadoop rack

回答 1 投票 0

列统计（Hive）中字段bitVectors的含义是什么？

列统计测试我从文档中获得了有关 Hive 列统计信息的信息。对于大多数列都归档了bitVectors，它的含义是什么，以及计算它的规则？我创建了一些选项卡...

hadoop hive statistics hive-metastore

回答 1 投票 0

spark-3.0.0-bin-hadoop 和 Spark-yarn 一样吗？

我一直在尝试按照教程在 Windows 上安装 Spark： https://sparkbyexamples.com/spark/apache-spark-installation-on-windows/ 因为我想使用图书馆

apache-spark hadoop pyspark hadoop-yarn

回答 1 投票 0

使用 Between 运算符的 Hive 不等式连接

我们有一个类似于以下的查询：（partition_date 是我们的表分区）从 A 选择 * 加入B 其中partition_date > B.last_runtime；我们意识到，通过将条件放在 w...

sql hadoop join hive

回答 2 投票 0

无法读取 Spark 上的外部 Hive 表

影响版本：2.3.2 组件：PySpark、Spark Core、Spark Shell 标签：JSON 外部表 hive Spark 环境：hdp 3.1.4 hive-hcatalog-core-3.1.0.3.1.4.0-315.jar & hive-hcatalog-core-3...

java apache-spark hadoop pyspark hive

回答 1 投票 0

namenode datanode jps 未在 Windows 命令中列出？

启动 hdfs namenode -format 命令后它不会在 jps 命令中列出名称节点和数据节点我仍然没有尝试任何东西，因为 Linux 命令中的所有答案我都想要 Windows co...

hadoop hdfs

回答 1 投票 0

是否可以从 HDFS 手动删除 Hive 表的分区目录而不删除分区

假设我有一个分区的配置单元表 >显示分区db.my_table； +----------------------------------+ |隔断| +----------------------------------+ |在_...

hadoop hive

回答 2 投票 0

VSCode 中的 Java JDK 与终端中的不同

我浏览了一些与此类似的问题，但我的问题太具体，他们无法提供帮助。对于我在学校的一门课程，我需要运行一个名为 Hadoop 的 Java 扩展。我已经完全配置...

java visual-studio-code hadoop ssh version

回答 1 投票 0

Spark Cluster 有心跳超时和 Yarn Scheduler

我在 Stackoverflow 上查看了其他相关帖子，但似乎没有一个与我的直接相关，因为他们引用的 Spark 版本是 5 年前的，而我使用的 Spark 版本是 Spark ...

apache-spark hadoop hadoop-yarn

回答 1 投票 0

从源代码构建 Apache Tez 失败

我正在使用 Hadoop 版本 3.3.6 设置节点集群 (CentOs 8)。我尝试使用Java 8为Hive（版本3.1.3）的执行引擎设置Apache Tez（版本0.9.2）。但是之后

hadoop hive apache-tez

回答 1 投票 0

ModuleNotFoundError：没有名为“py4j”的模块

我安装了 Spark，但在将 pyspark 模块加载到 ipython 中时遇到了问题。我收到以下错误： ModuleNotFoundError Traceback（最近的调用...

python-3.x apache-spark hadoop pyspark py4j

回答 2 投票 0

将数据从 Hive 摄取到 GeoMesa Accumulo

我正在尝试使用 JDBC 转换器将数据从 Hive 提取到 GeoMesa Accumulo 中。以下是 JDBC 转换器的配置： geomesa.converters.hive = { 类型=“jdbc&q...

hadoop jdbc hive accumulo geomesa

回答 1 投票 0

hadoop 相关问题

最新问题