Hadoop localhost:9870 浏览器界面无法正常工作

Question

我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。这个论坛的一些文章和答案提到9870是50070的更新版本。我有win 10。我也参考了这个论坛的答案，但没有一个起作用。 Java-home 和 hadoop-home 路径已设置。 hadoop的bin和sbin的路径也设置好了。谁能告诉我我在这里做错了什么？

我参考这个网站进行安装和配置。 https://medium.com/@pedro.a.hdez.a/hadoop-3-2-2-installation-guide-for-windows-10-454f5b5c22d3

核心站点.xml

我也在这个 xml 中设置了 Java 路径。

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9870</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>C:\hadoop-3.2.2\data\namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>C:\hadoop-3.2.2\data\datanode</value>
</property>

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

纱线站点.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

Answer 1

如果您查看名称节点日志，它很可能有一个错误，说明端口已在使用中。

默认

fs.defaultFS

端口应为 9000 - https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html ；如果没有充分的理由，你不应该改变它。

Namenode web UI 不是

fs.defaultFS

中的值。默认端口为 9870，由

dfs.namenode.http-address

 中的 

hdfs-site.xml

定义

需要做数据分析

您可以在 Windows 上直接使用 Spark、Hive、MapReduce 等进行分析，无需 Hadoop，并且可以直接访问您的机器，不受 YARN 容器大小的限制。