Hadoop - wordcount 程序未写入本地主机中的输出文件:9870

问题描述 投票:0回答:1

我在Windows10机器上使用hadoop-3.3.0和jdk1.8。我有一个练习 WordCount 编程的程序

  1. 第1步:创建一个名为“data.txt”的文件。该文件的内容是: data.txt

  2. 第2步:

  • 使用命令在 hdfs 中创建输入目录:
hdfs dfs -mkdir /input

  • 将 data.txt 文件推送到新创建的输入文件夹中:
hdfs dfs -put "D:\PhanTichDuLieu\data.txt" /input

  • 进入Namenode http://localhost:9870/管理页面,我已经有文件了
  • Img1: Namenode page after I created Input directory
  • Img2: data.txt
  • Img3: The content of data.txt
  1. Step3:但是 wordcount 程序没有写入 localhost:9870 中的输出文件 我使用命令:
hadoop jar "C:\hadoop-3.3.0\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.3.0.jar" wordcount /input/data.txt /output
  • Img4: cmd
  • Img5: NameNode page

帮助我为什么不显示输出文件夹?

我尝试了很多解决方案,但没有一个有效。请帮助我

hadoop word-count
1个回答
0
投票

您尝试在 Windows 上运行 Hadoop,但尚未将

hadoop.tmp.dir
配置覆盖为非 Unix 路径,因此您会看到错误,无法访问 /tmp 目录下的路径,因为该路径无效。

您的用户名中也不能包含空格,hadoop 才能正常工作

您需要编辑 xml 文件并重新启动 namenode/datanode 和 Nodemanager/resourcemanager 才能使用任何新属性

© www.soinside.com 2019 - 2024. All rights reserved.