我正在使用带有纱线轮廓的giraph-1.3。为了开始，我在ec2集群上配置了1个namenode和2个datanode。我的应用程序正常工作，因为我看到日志（和输出目录）中的预期输出。我用“-w 2”参数启动了giraph，因为我有两个数据节点。
在datanode1的用户日志中，我找到了第一个worker的日志。 在datanode2的用户日志中，我也找到了第二个工人的日志和主人的日志。
我希望在namenode中找到master的日志，即我希望master在namenode上运行。这样对吗？
也许我必须配置另一个datanode然后我会在这个新的datanode上找到主日志？
我知道hadoop / giraph可以在datanode上创建容器。 Hadoop为应用程序主机创建一个容器，然后giraph为主机创建一个容器。此外，giraph为与-w参数对应的worker创建了一些容器。
YARN总是为每项工作创建一个Application Master。
根据您的工作量，您可以根据需要启动尽可能多的“工作人员”，但由于您只有2个数据节点，因此您只能拥有2个NodeManager以实现最大并行度
NodeManager具有可用的最大内存空间，并且作业任务的YARN容器获得该部分的子部分以进行处理。