hadoop-streaming 相关问题

启用 Kerberos 的 HDP 2.6 集群中 Storm HDFS Bolt 面临问题

我已在 HDP 2.6 集群中启用了 Kerberos 安全性，在启用 Kerberos 之前，在该集群上安装了 Kafka 和 Storm 服务。 我正在运行的拓扑有 kafka-spout 和 hdfs...

没有输入文件的 Hadoop 流作业

是否可以执行没有输入文件的 Hadoop Streaming 作业？ 在我的用例中，我能够使用单个映射器和执行参数为减速器生成必要的记录。

Hadoop：错误：java.lang.RuntimeException：配置对象时出错

我已经安装了 Hadoop 并且运行完美，因为我运行了字数统计示例并且它运行得很好。现在我尝试继续做一些更真实的例子。我的例子是在这个网站上完成的...

Python - 如何通过命令行参数运行 Hadoop 流

我需要学校项目的帮助。 对于我所做的实验，我用 python（版本 3）编写了映射器和化简器脚本，并且能够毫无问题地运行 hadoop 流。然后我编辑...

类型错误：无法解压不可迭代的浮点对象 - MapReduce - mrjob

我正在测试一个简单的例子来了解MapReduce和mrjob。 目标是将所有数字的对数相加，并将所有数字的计数除以该总和。 代码很简单...

Windows 上的 Python Hadoop 流，脚本不是有效的 Win32 应用程序

我在使用 Hadoop Streaming.jar 在 Hadoop 上执行 MapReduce Python 文件时遇到问题。 我用： Windows 10 64 位 Python 3.6，我的IDE是spyder 3.2.6， Hadoop 2.3.0 jdk1.8.0_161 我可以得到答案

hadoop-streaming中练习mapreduce运行JAR报错

我是 AWS 的新手，正在尝试获得这些功能的实践经验。 这就是我要运行的： hadoop罐子 /lib/hadoop-mapreduce/hadoop-streaming-2.8.5-amzn-6.jar \ -文件映射器....

无法在 linux 上使用 mapreduce 处理文本文件

我目前正在尝试使用 Hadoop 流。我有一个名为 diamonds.txt 的文件，其中包含钻石的克拉数及其旁边的价格，全部以逗号分隔 (csv)。 第一个例子......

字数统计应用程序未在 hadoop 上运行

这是我第一次使用 hadoop，所以我开始使用基本程序，即字数统计。在我的本地机器上它工作得很好。真正的问题是我无法在

如何在hadoop流中跳过失败的地图任务？

我正在运行一个hadoop流式mapreduce作业，它总共有26895个map任务。但是，有一个处理某个输入的任务总是失败。所以我设置mapreduce.map.failures.maxpercent=1，并想 ...

如何在Hadoop集群上运行Hadoop流媒体？

目前我有一个有3个节点的Hadoop集群(ubuntu)，我想用Hadoop Streaming来运行python R脚本，但我不确定仅仅执行HS是否真的能让所有节点都工作，如果是的话，我想用Hadoop ...

WARN hdfs.DFSClient.DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException):WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException)。文件inrecipeitems-latest.json.ingeing_。

当我试图将json从本地路径复制到Hadoop文件分布式系统时，我遇到了一个问题。我已经按照这个链接http:/www.codeproject.com......中给出的步骤进行了编码。

如何在Windows 10的cmd外壳上的笔记本电脑上本地运行mapreduce程序

我正在尝试在笔记本电脑安装的hadoop 2.8版本上本地运行MapReduce程序。我很困惑如何在Cmd Shell中使用以下命令。这是我的命令，还共享映射器和化简器...

oozie java.io.IOException：方案无文件系统：hdfs

我已经使用Hadoop 2.7.3设置了oozie 4.3.1。 oozie已成功设置并运行，并且能够查看Web控制台http：// localhost：11000 / oozie /，还可以使用oozie status命令进行确认。 ...

未使用python代码在mapreduce中获得我的预期输出

[运行此代码以获取Hadoop中的概率]，我的数据在CSV文件中大约10k +。我正在使用Google DataProc Cluster运行此代码。请告诉我如何获得期望的输出。和...

Hadoop 1.x生产版本

我正在将Hadoop . . 版本集群与当前安装在其中的hadoop子项目一起使用，以进行学习。 我现在想说的是，目前任何生产系统中还是任何仍在生产系统中使用...

os.environ ['mapreduce_map_input_file']不起作用

我在Python中创建了一个简单的map reduce，只是为了测试os.environ ['mapreduce_map_input_file']调用，如下所示：map.py＃！/ usr / bin / python import sys＃输入来自STDIN（流...

应用程序错误日志在哪里？

[由于必须通过在日志文件中查找错误消息来调试我们的Python代码，我创建了一个Hadoop Streaming作业，该作业会引发异常，但我无法找到错误...

python多处理是否可以与Hadoop流一起使用？

[在Hadoop流中-用python编写Mapper和Reducer的地方-是否有助于使Mapper进程使用多处理模块？还是调度程序阻止了...的映射器脚本...

一个字减速程序计数的垃圾邮件/火腿分类

我写的Hadoop流减速机（python3），它不能正常工作，例如用于以下输入：数据=“狗\ T1 \ T1 \ ndog \ T1 \ T1 \ ndog \ T0 \ T1 \ ndog \ T0 \ T1 \ NCAT \ T0 \ T1 \ NCAT \ T0 \ T1 \ NCAT \ T1 \ T1 \ n” ...