我在 Ubuntu 16.04 上安装了 Hadoop 2.7.4。我正在尝试以伪模式运行它。 我为所有 hadoop 文件、NameNode 和 DataNode 文件安装了一个“/hadoop”分区。
我的 core-site.xml 是:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
我的 hdfs-site.xml 是:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/nodes/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/nodes/datanode</value>
</property>
</configuration>
我的mapred-site.xml是:
<configuration>
<property>
<name>Map-Reduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
我的yarn-site.xml是:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>Map-Reduce_shuffle</value>
</property>
</configuration>
跑步后
$ start-dfs.sh
$ start-yarn.sh
$ jps
我运行以下守护进程。
2800 ResourceManager
2290 NameNode
4242 Jps
2440 DataNode
2634 SecondaryNameNode
start-yarn.sh 给我:
$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-resourcemanager-abdy-hadoop.out
localhost: starting nodemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-nodemanager-abdy-hadoop.out
nodemanager守护进程似乎根本没有启动。 我已经尝试了 2 天来解决这个问题,但似乎找不到解决办法。请有人指导我。
首先你必须格式化你的名称节点:
hadoop namenode -format
在格式化名称节点之前,请确保删除现有的
/hadoop/nodes/namenode 和 /hadoop/nodes/datanode 文件夹
然后你执行:
hadoop namenode -format
名称节点格式化完成后。
你执行以下命令。
start-dfs.sh
start-yarn.sh
[假设您在 Windows 计算机上遇到该问题]
我观察到人们为此实施了两种解决方案,解决了这个问题。
第一:
在管理员模式下运行命令提示符 (CMD),您可以在其中运行命令。如果您现在启动 Hadoop,大多数服务都应该启动并运行。
第二:
如果上述解决方案仍然不起作用,请从此处下载最新的 Microsoft Visual C++ 版本。安装它,重新启动系统,然后启动Hadoop。
观看此 Youtube 视频以供参考。
希望这有帮助!