mapreduce 相关问题

是否需要缓存从Twitter Streaming API和RESTful API获取的数据？

。 我正在使用Twitter Streaming API来获取一些带有特定主题标签的推文。 我想从每个推文中提取一些元数据，并使用它们来更新一些本地数据结构。...

从hadoop控制台输出中删除调试日志

我想从我的hadoop控制台输出中删除DEBUG消息。 我已经设定了 在hadoop env.sh文件中 在hadoop bin的log j.properti...

hadoop 1.x端口列表 - 另外4个未知端口

我配置并安装了hadoop . . 单节点。 我将namenode和jobtracker地址的端口分别配置为 hdfs： localhost： 和 local...

os.environ ['mapreduce_map_input_file']不起作用

我在Python中创建了一个简单的map reduce，只是为了测试os.environ ['mapreduce_map_input_file']调用，如下所示：map.py＃！/ usr / bin / python import sys＃输入来自STDIN（流...

[Hadoop Mapreduce：缩小方法未调用

我正在写一个mapreduce的节律。在我的代码中未调用reduce（Text键，Iterable 值，Context上下文）方法。在它上面，我有@Override给出错误：方法确实...

Mapreduce中的块

我有一个非常重要的问题，因为我必须发表有关mapreduce的演讲。我的问题是>我已经阅读了mapreduce中的文件分为多个块，每个块都在3中复制...

在python中找到每个年龄段最受欢迎的电影的还原器

我正在尝试为Hadoop编写mapper reducer，以查找每个年龄段的5个“热门电影”等级的电影。我编写了这个mapper.py，以将拖曳数据集与用户ID结合在一起，以获取...

数据局部性在Hadoop中到底意味着什么？

[许多Hadoop教程站点（即https://techvidvan.com/tutorials/data-locality-in-hadoop-mapreduce/）定义的数据局部性指出：“ Hadoop中的数据局部性是移动.. 。

与动作相关的未知hadoop作业。操作失败

我正在尝试从OOzie运行mapreduce程序。但是低于错误JA017：与操作[0000000-19100218005959-oozie-hdus-W @ ...]相关联的未知hadoop作业[job_local100982864_0001

使用mapreduce加入pyspark数据帧

join方法运行缓慢。连接两个数据框的有效方法是什么？我们可以使用mapreduce连接两个pyspark数据帧吗？

hadoop中的序列文件是什么？

我是Map-reduce的新手，我想了解什么是序列文件数据输入？我在Hadoop书中学习过，但是很难理解。

使用'reduce'操作一个对象并产生一个数组

我知道reduce是Javascript中非常强大的数组方法，已经看到了很多示例，但是无法使用它来完成下面的任务。用...

人们在谈论Hadoop，Spark和大数据时，“中间结果”是什么意思？

我正在尝试学习更多有关大数据的知识，特别是在利用Hadoop和Spark方面。但是，我一直看到这个术语是“中间结果”，我不太确定它是什么...

reduce，reduceByKey，Spark或Flink中的reduceGroups

reduce：函数采用累加值和下一个值来查找某些聚合。 reduceByKey：与指定键也相同。 reduceGroups：将指定的操作应用于...

是否有一种方法可以获取mongodb中对象字段的长度？

例如，如果我在MongoDB中具有以下对象：{{“ name”：“ pencil”，“ purchase_record”：{“ 1”：“ $ 900”，“ 2”：“ $ 1000”，“ 3”：“ $ 1100“，...

java.lang.NoSuchMethodError：org.apache.hadoop.conf.Configuration.addDeprecation（Ljava /郎/字符串; [Ljava /郎/字符串;）

我使用的Java / Eclipse的/ Hadoop的2.2.0（包括所有必要的罐子）来运行一个样本地图使用下面的代码，但（以下堆栈跟踪）遇到例外情况在Ubuntu Reduce任务（本地单节点）。一世 ...

分拣使用的MapReduce大数据/ Hadoop的

我正在读关于MapReduce和下面的事情是混淆了我。假设我们有1万个条目（整数）的文件，我们希望使用MapReduce的对它们进行排序。路上，我理解为去...

Apache的紧缩：如何设置多个输入路径？

我有一个问题：当我使用Apache的紧缩，我不能设置多个输入通道。我怎么解决这个问题？

Hadoop的MapReduce的容器与一个非零退出代码1退出

我试图运行一些Hadoop的程序在Ubuntu中提取一些摘要关键词。当我使用Hadoop运行我的程序，我碰到下面的错误。 WARN util.NativeCodeLoader：无法加载...

WARN mapred.JobClient：未设置作业jar文件。可能找不到用户类别

我的代码是import java.io.IOException;导入java.util。*;导入org.apache.hadoop.fs.Path;导入org.apache.hadoop.conf。*;导入org.apache.hadoop.io。*;导入org.apache.hadoop.mapreduce。*; ...