我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。这个论坛的一些文章和答案提到9870是50070的更新版本。我有win 10。我也参考了这个论坛的答案,但没有一个起作用。 Java-home 和 hadoop-home 路径已设置。 hadoop的bin和sbin的路径也设置好了。谁能告诉我我在这里做错了什么?
我参考这个网站进行安装和配置。 https://medium.com/@pedro.a.hdez.a/hadoop-3-2-2-installation-guide-for-windows-10-454f5b5c22d3
核心站点.xml
我也在这个 xml 中设置了 Java 路径。
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9870</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>C:\hadoop-3.2.2\data\namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>C:\hadoop-3.2.2\data\datanode</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
纱线站点.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
如果您查看名称节点日志,它很可能有一个错误,说明端口已在使用中。
默认
fs.defaultFS
端口应为 9000 - https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html ;如果没有充分的理由,你不应该改变它。
Namenode web UI 不是
fs.defaultFS
中的值。默认端口为 9870,由 dfs.namenode.http-address
中的
hdfs-site.xml
定义
需要做数据分析
您可以在 Windows 上直接使用 Spark、Hive、MapReduce 等进行分析,无需 Hadoop,并且可以直接访问您的机器,不受 YARN 容器大小的限制。