hadoop 相关问题

Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。

我正在尝试制作一个Map-reduce程序，它将执行2个周期。第一个映射缩减周期将创建一个包含 2 个键|值对的文件。然后我需要在

java hadoop hdfs

回答 1 投票 0

我有 flink jobmanager 和 taskmanager 节点，还有 hdfs namenode 和 datanode 作为 Docker 容器。职位经理：图片：flink：1.17.2-scala_2.12-java8 端口： - “8081：……

docker hadoop apache-flink

回答 1 投票 0

ESRI Hive ST_Contains 无法正常工作

尝试使用我能找到的 JAR（不确定它们是最佳选择，我需要使用 ESRI 并在 Hive 中执行此操作）：添加 JAR /home/user/lib/esri-geometry-api-1.2.1.jar；添加 JAR /home/user/...

hadoop sdk hive spatial esri

回答 2 投票 0

Hive 不显示表格

我是 Hadoop 和 Hive 世界的新手。我有一个奇怪的问题。当我在 hive 提示符上工作时。我创建了一些表，并且配置单元正在显示这些表。当我退出 Hive 会话后...

hadoop hive

回答 3 投票 0

错误 org.apache.pig.tools.grunt.Grunt - 错误 1200：<line 16, column 46> 不匹配的输入“，”期望 LEFT_PAREN

grunt>joined_data=JOINfiltered_featuresBY（商店，日期），销售额BY（商店，日期）； 2024-04-02 13:19:05,110 [主要] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1200： grunt> joined_data = JOIN filtered_features BY (store, date), sales BY (store, date); 2024-04-02 13:19:05,110 [主要] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1200: 不匹配的输入 ',' 期待 LEFT_PAREN 日志文件详细信息：/home/vboxuser/Documents/DDPC/EX9/q2/2/pig_1712044037517.log 猪堆栈跟踪错误 1200：输入“，”不匹配，需要 LEFT_PAREN 解析失败：输入“,”不匹配，需要 LEFT_PAREN at org.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:244) at org.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:182) at org.apache.pig.PigServer$Graph.validateQuery(PigServer.java:1792) at org.apache.pig.PigServer$Graph.registerQuery(PigServer.java:1765) at org.apache.pig.PigServer.registerQuery(PigServer.java:708) at org.apache.pig.tools.grunt.GruntParser.processPig(GruntParser.java:1110) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:512) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205) at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66) at org.apache.pig.Main.run(Main.java:564) at org.apache.pig.Main.main(Main.java:175) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.base/java.lang.reflect.Method.invoke(Method.java:566) at org.apache.hadoop.util.RunJar.run(RunJar.java:244) at org.apache.hadoop.util.RunJar.main(RunJar.java:158) ====================================================== ================================= 有括号但还是错误Left Paran 如果我提到列号，它就会起作用 grunt> join_data = JOIN Filtered_features BY ($0, $2), sales BY ($0, $1);

hadoop mapreduce apache-pig

回答 1 投票 0

任何人都可以帮我解决这个问题，同时尝试在ubuntu上安装hadoop吗？

当我尝试在 ubuntu 上安装 hadoop 时，我已经收到这个错误很长时间了。 :~/hadoop$ bin/hdfs namenode -format 无法识别的选项：- 错误：无法创建 Java 虚拟机....

java ubuntu hadoop hdfs namenode

回答 1 投票 0

在集群部署模式下运行 Spark 提交作业失败，但通过客户端

EDITI：通过删除应用程序中“setMaster”的conf设置，我能够成功运行yarn-cluster - 如果有人可以帮助spark master作为集群部署 - 那会很棒我正在努力...

hadoop amazon-web-services amazon-s3 apache-spark

回答 0 投票 0

如果我的数据未分区，这就是我的 PySpark 作业出现 maxResultSize 错误的原因吗？

我的公司有一个生产中的 PySpark 作业，每天都在运行，但最近失败了，而自 1 月份首次部署该作业以来，它每天都成功。错误是关于...

sql hadoop pyspark

回答 1 投票 0

YARN 上的 Spark 驱动程序与 MapReduce 驱动程序

我知道在 Spark 中，如果指定 `yarn-client` 部署模式，您可以在客户端计算机上运行驱动程序。或者，如果您指定“yarn-cluster”，您可以在集群中的随机机器上运行它...

hadoop mapreduce hadoop-yarn

回答 1 投票 0

尝试从 Spark 在 S3 存储桶上写入数据时找不到类 org.apache.hadoop.fs.s3a.auth.IAMInstanceCredentialsProvider

我正在尝试从本地计算机向 S3 存储桶写入数据：火花 = SparkSession.builder \ .appName('应用程序') \ .config("spark.hadoop.fs.s3a.access.key", 配置。

apache-spark amazon-s3 hadoop pyspark spark-streaming

回答 4 投票 0

运行hadoop错误：JAVA_HOME /usr/bin/java不存在

Ubuntu 16.04.1 LTS 我已经通过 sudo apt-get install default-jdk 安装了 java $ java -版本 openjdk版本“1.8.0_292” OpenJDK 运行时环境 (build 1.8.0_292-8u292-b10-0ubuntu1~16...

java hadoop

回答 4 投票 0

Hadoop MapReduce WordPairsCount 产生不一致的结果

当我在 Hadoop 上运行 MapReduce 时，结果非常令人困惑。这是代码（见下文）。正如您所看到的，这是一个非常简单的 MapReduce 操作。输入是 1 个目录，其中有 100 个 .lineperdoc ...

java hadoop mapreduce

回答 1 投票 0

HDFS 由于“状态备用时不支持操作类别 WRITE”而出现许多坏块 - 了解为什么 datanode 找不到 Active NameNode

最近我想将集群从2.6.5升级到3.1.3，但失败了。所以我将版本回滚到旧版本。但是发生了一些奇怪的事情。我们集群的datanode无法将块的情况报告给...

hadoop hdfs

回答 1 投票 0

无法使用WebUI预览加载到HDFS的数据

我正在尝试使用端口 9870 通过 WebUI 查看 HDFS 上的数据。我可以从终端查看数据，但收到如下所示的错误代码。我正在尝试以完整集群模式运行 Hadoop (1

hadoop mapreduce

回答 1 投票 0

将行减少到 hsql 中的映射结构

hadoop/hive 新手，需要将一组行缩减为映射数据类型，如下所示；从第 1 列第2栏杰夫史密斯史蒂夫棕色的到第 1 列第2栏 1 {“杰夫”：“史密斯”}，{“圣...

hadoop hive ambari

回答 1 投票 0

在 hive 中将 varchar(7) 转换为十进制 (7,5)

我有一个像配置单元表中的值 0050000 0100000 0005000 我想将其转换为十进制（7,5）我试过 SELECT CAST(column_A AS DECIMAL(7,5)) AS Converted_column FROM 表名；但是笑...

sql hadoop hive

回答 1 投票 0

安装hadoop时出现“HADOOP_COMMON_HOME”错误

我第一次在 VMFusion 上的 Ubuntu 18.04 上安装 hadoop (3.2.2)。在安装结束时，当我运行“hdfs namenode -format”时，它显示：错误：无效的 HADOOP_COMMON_HOME。这是...

ubuntu hadoop hdfs

回答 2 投票 0

杀死协调器后如何让oozie工作流程运行？

我已经使用oozie有一段时间了，我想杀死一个协调员，但我不想杀死由协调员启动的工作流程。我为什么要这么做？我有一个场景

hadoop cloudera oozie hortonworks-data-platform oozie-coordinator

回答 2 投票 0

spark中的Driver和Application manager有什么区别

我无法弄清楚Spark driver和application master之间有什么区别。基本上是运行应用程序的职责，谁做什么？在客户端模式下，客户端机器有...

apache-spark hadoop hadoop-yarn

回答 2 投票 0

提取hive sql中数值之前的所有字符

我的 COD 列如下：化学需氧量跨太平洋伙伴关系协定电话_9985 短信@TELL-1256 短信@123 我想提取数值之前的所有字符，期望结果是：化学需氧量跨太平洋伙伴关系协定电话短信@告诉文本我试过没有

sql hadoop hive

回答 1 投票 0

hadoop 相关问题

最新问题