mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

任务失败发生在mapreduce过程中

我是hadoop mapreduce的新用户。我想测试mapreduce任务失败。谁能给我链接“测试mapreduce任务失败”的示例代码?

回答 1 投票 -1

所有任务尝试都已完成,但mapreduce中的作业失败

我使用8个地图任务和1个减少任务。尽管已成功完成所有映射任务尝试,但map reduce作业失败。我的示例代码来自Hadoop初学者指南(Garry Turkington),它是......

回答 1 投票 1

如何在R中写入map reduce?

我是R.的新手。我知道如何在Java中编写map reduce。我想在R中尝试相同。所以任何人都可以帮助提供任何samle代码,并且R中的MapReduce有任何固定的格式。请发送...

回答 1 投票 6

Hadoop MapReduce访问减速器中的映射器输出编号

我有一个映射器输出一个句子中的每个字母,这是键,数字1作为其值。例如,我的映射器输出'你好吗'为H 1 o 1 w 1 a 1 r 1 e 1 y 1 o 1 u 1我...

回答 3 投票 0

如何使用luigi将输出写入带有orc格式的分区表?

假设我们有这样的工作:class MRjob(JobTask):def output(self):return ... def requires(self):return ... def mapper(self,line):#some line process yield key,(.. ....

回答 1 投票 0

hadoop fs -mkdir没有创建所需的文件夹

我正在尝试执行简单的Hadoop Mapreduce Wordcount示例。我按照本指南运行程序。其中一个步骤是在hdfs文件系统上创建输入和输出文件夹。 ...

回答 1 投票 2

如何使用hadoop Map reduce处理/提取.pst

我正在使用MAPI工具(它的微软lib和.NET),然后使用apache TIKA库来处理和从交换服务器中提取pst,这是不可扩展的。如何使用...处理/提取pst

回答 2 投票 2

电影推荐的MapReduce Jaccard相似度计算

我正在考试分布式系统,我试图解决去年考试中的MapReduce问题。但我很难搞清楚我将创建的MR功能。练习......

回答 1 投票 1

Map-Reduce Logs on Hive-Tez

我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释? INFO之后的界限是什么?这里我附上了一个样本信息:Session已经打开INFO:...

回答 1 投票 2

如何修复mapreduce中mapper的setup方法给出的字符串值的不规则行为?

我是MapReduce的新手,并且正在学习设置方法的实现。配置给出的新字符串值正确打印,但当我尝试进一步处理它时,......

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.