我想Hadoop的3.1.0安装到两个虚拟机:
第一机器包括一个名称节点和一个数据节点,第二个包含一个数据节点。
我跟着这篇文章Install Hadoop 3.0.0 multi-node cluster on Ubuntu。直到我执行start-dfs.sh和start-yarn.sh命令每去罚款。
当我运行名称节点上Jps
命令它显示了以下结果:
16488 NameNode
16622 DataNode
17215 NodeManager
17087 ResourceManager
17530 Jps
16829 SecondaryNameNode
当我的数据节点上运行它,它表明:
2306 DataNode
2479 NodeManager
2581 Jps
但奇怪的是,当执行hdfs dfsadmin -report
命令只显示Live datanodes (1)
这是当地的DataNode。
我做了很多的搜索;我没有发现任何有用的东西。
我试过了:
stop-all.sh
hdfs namenode -format
命令还有一个类似的问题在这里:Hadoop UI shows only one Datanode他们在信中建议改变主机名。在我的Namenode /etc/hosts
文件包含以下几行:
127.0.0.1 localhost
127.0.1.1 hadoop-Namenode
192.168.75.131 hadoop-Namenode
192.168.75.132 hadoop-datanode-1
而在数据管理部/etc/hosts
我有:
127.0.0.1 localhost
127.0.1.1 hadoop-datanode-1
192.168.75.131 hadoop-Namenode
192.168.75.132 hadoop-datanode-1
有什么建议么?
这个问题是由两台机器移除127.0.1.1
线解决
127.0.1.1 hadoop-Namenode
127.0.1.1 hadoop-datanode-1
试图解析主机名时,这些线是造成冲突。