Hadoop 错误：异常消息：'/tmp/hadoop-user' 未被识别为内部或外部命令、可操作程序或批处理文件

Question

我是 Hadoop 新手，我一直在遵循在 LinkedIn 上找到的一份指南，标题为“安装 Hadoop 单节点集群并在 Windows 操作系统中运行简单的应用程序（例如字数统计）。”直到最后一切都运行良好。然而，当我运行mapreducer.jar程序来统计单词出现次数时，遇到了以下错误：

Exception message: '/tmp/hadoop-Arif' is not recognized as an internal or external command, operable program, or batch file.

我还确认我可以看到输入文件的内容。 这是我正在使用的命令：

hadoop jar "C:\hadoop-2.8.0\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.8.0.jar" wordcount /inputdir/input_file.txt /temp/output

我还附上了命令执行的屏幕截图。如果您能帮助我，我将非常感激。

Answer 1

1. 遵循官方文档并使用最新、稳定的Hadoop

2. 您至少需要将

   hadoop.tmp.dir

   配置修复为 Windows 文件路径。或者，您可以在 Linux VM 或 WSL2 中运行 Hadoop，您不需要解决（官方未记录的）Windows 修改，因为 Hadoop 文档都假设您仅使用 Linux

3. 当 Spark、Flink、Beam 等都存在时，就没有人真正编写大量的 MapReduce 代码了。您不需要 HDFS/YARN 来运行这些（并不是说您也需要它们来进行 MapReduce，但这是默认模式）