如何在hadoop流中跳过失败的地图任务?

问题描述 投票:3回答:1

我正在运行一个hadoop流式mapreduce作业,它总共有26895个map任务。但是,有一个处理某个输入的任务总是失败。所以我设置了 mapreduce.map.failures.maxpercent=1 并想跳过失败的任务,但工作还是没有成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts

map     100.00%   26895     0       0       26894       1       8 / 44

reduce  100.00%       1     0       0       0           1       0 / 1

我怎么做才能跳过这个问题?

hadoop mapreduce hadoop-streaming
1个回答
2
投票

有一个同样的配置可以使用.指定了 mapred.max.map.failures.percentes。mapred.max.reduce.failures.percentes. 中的mapred-site.xml来指定失败阈值。这两个属性都被设置为0。

这些属性现在已经过时了,使用以下属性来实现这个目的。

mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent
© www.soinside.com 2019 - 2024. All rights reserved.