mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

将 mongomapreduce 代码转换为 php

我尝试在我的 php 应用程序中使用以下 mongo shell 代码。 它基本上是在一个时间范围内获取 800 个均匀分布的值,用于图表中。 var 映射 = 函数 ...

回答 1 投票 0

Uber 模式配置设置已对齐,但作业不在 Uber 模式下执行

根据 Hortonworks 的文档,在“uber 模式”下执行 Hadoop 作业的方法是配置 maprep-site.xml 设置,如下所示: <

回答 2 投票 0

Mongodb Map-Reduce 执行多重聚合

假设我有一个包含以下形式文档的集合: { id: id1, 名称: 富, 值:64 }, { id: id1, 名称: 酒吧, 值:37 }, { id: id1, 名称: 酒吧, 价值...

回答 1 投票 0

执行 3 Way Join MapReduce Python

我将以下表格存储为单独的 csv 文件: 客户(c_id、性别、地址、出生日期) 餐食 (r_id, c_id, date)(因此顾客在餐厅用餐) 餐厅(类型,r_id)

回答 1 投票 0

Python 中的映射缩减作业

在此处输入图像描述我有一个 csv,有 100 万行和 3 列,列为 PostAuthor、CommentAuthor、CommentDate。我想要这个示例输出: 帖子作者评论数 [(

回答 1 投票 0

如何将作业提交到Hadoop中的特定节点?

我有一个Hadoop集群,有1个Master和5个Slave。有什么方法可以将工作提交给特定的奴隶组吗?基本上我想做的是用许多可能性对我的应用程序进行基准测试......

回答 4 投票 0

错误 org.apache.pig.tools.grunt.Grunt - 错误 1200:<line 16, column 46> 不匹配的输入“,”期望 LEFT_PAREN

grunt>joined_data=JOINfiltered_featuresBY(商店,日期),销售额BY(商店,日期); 2024-04-02 13:19:05,110 [主要] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1200: grunt> joined_data = JOIN filtered_features BY (store, date), sales BY (store, date); 2024-04-02 13:19:05,110 [主要] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1200: 不匹配的输入 ',' 期待 LEFT_PAREN 日志文件详细信息:/home/vboxuser/Documents/DDPC/EX9/q2/2/pig_1712044037517.log 猪堆栈跟踪 错误 1200:输入“,”不匹配,需要 LEFT_PAREN 解析失败:输入“,”不匹配,需要 LEFT_PAREN at org.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:244) at org.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:182) at org.apache.pig.PigServer$Graph.validateQuery(PigServer.java:1792) at org.apache.pig.PigServer$Graph.registerQuery(PigServer.java:1765) at org.apache.pig.PigServer.registerQuery(PigServer.java:708) at org.apache.pig.tools.grunt.GruntParser.processPig(GruntParser.java:1110) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:512) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205) at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66) at org.apache.pig.Main.run(Main.java:564) at org.apache.pig.Main.main(Main.java:175) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.base/java.lang.reflect.Method.invoke(Method.java:566) at org.apache.hadoop.util.RunJar.run(RunJar.java:244) at org.apache.hadoop.util.RunJar.main(RunJar.java:158) ====================================================== ================================= 有括号但还是错误Left Paran 如果我提到列号,它就会起作用 grunt> join_data = JOIN Filtered_features BY ($0, $2), sales BY ($0, $1);

回答 1 投票 0

YARN 上的 Spark 驱动程序与 MapReduce 驱动程序

我知道在 Spark 中,如果指定 `yarn-client` 部署模式,您可以在客户端计算机上运行驱动程序。或者,如果您指定“yarn-cluster”,您可以在集群中的随机机器上运行它...

回答 1 投票 0

Hadoop MapReduce WordPairsCount 产生不一致的结果

当我在 Hadoop 上运行 MapReduce 时,结果非常令人困惑。这是代码(见下文)。正如您所看到的,这是一个非常简单的 MapReduce 操作。输入是 1 个目录,其中有 100 个 .lineperdoc ...

回答 1 投票 0

无法使用WebUI预览加载到HDFS的数据

我正在尝试使用端口 9870 通过 WebUI 查看 HDFS 上的数据。我可以从终端查看数据,但收到如下所示的错误代码。我正在尝试以完整集群模式运行 Hadoop (1

回答 1 投票 0

mit6.824 lab1-mapreduce 中的作业计数测试,ioutil.ReadDir 函数获取重复文件

我的代码可以通过所有测试,但不包括 mit6.824 lab1-mapreduce 中的作业计数测试。 输出如下: *** 开始作业计数测试。 --- 地图作业运行的次数不正确 (10 != 8) -...

回答 1 投票 0

Hadoop 正在使用 context.write() 写入文件,但输出文件为空

我正在运行hadoop代码,但遇到了问题。 请注意注释行“调试异常 1”和“调试异常 2”以及它们下面的行。因为我无法打印

回答 1 投票 0

Hadoop 的单词百分比程序

我正在开发著名的 WordCount 程序的一个稍微改进的版本,它应该输出该单词占书中的百分比。例如: ... 战争 0.00002332423% 和平 0.0034234324% ...

回答 3 投票 0

在笔记本电脑上安装hadoop的硬件要求

在 Windows 上安装 Hadoop 时推荐的最佳笔记本电脑硬件是什么?我假设我必须安装单节点安装,如果没有,请指导我进行正确的配置。

回答 4 投票 0

在高故障率集群上使用Dask进行分布式链式计算?

我正在使用 Dask Bag 在特殊集群上运行一些简单的映射缩减计算: 导入 dask.bag 作为包 summed_image = bag.from_sequence(my_ids).map(gen_image_from_ids).reduction(sum, sum).comp...

回答 2 投票 0

yarn hadoop 2.4.0:信息消息:ipc.Client 正在重试连接到服务器

我已经寻找了两天的解决方案。但没有任何效果。 首先,我对整个 hadoop/yarn/hdfs 主题很陌生,想要配置一个小型集群。 上面的消息并不是每次都会出现...

回答 7 投票 0

我在使用地图缩减脚本时遇到问题

我正在创建我的第一个地图缩减脚本。我在获取输入阶段运行项目搜索,输出: { "recordType": "程序集项", “id”:“XXXXX”, ”

回答 1 投票 0

Hadoop Streaming - 无法找到文件错误

我正在尝试运行 hadoop-streaming python 作业。 bin/hadoop jar contrib/streaming/hadoop-0.20.1-streaming.jar -Dstream.non.zero.exit.is.failure=true -输入/ixml -输出/oxml -映射器脚本...

回答 9 投票 0

Spark内部使用Map-Reduce吗?

Spark内部使用MapReduce吗? (自己的地图缩小) 第一次听到有人告诉我“Spark 使用 Map-Reduce”时,我很困惑,我总是知道 Spark 是一种替代方案......

回答 1 投票 0

如何指定 AWS 访问密钥 ID 和秘密访问密钥作为 amazon s3n URL 的一部分

我将输入和输出文件夹作为参数传递给来自网页的mapreduce字数统计程序。 出现以下错误: HTTP Status 500 - 请求处理失败;嵌套异常是 java.l...

回答 8 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.