当Hadoop中一个连接的namenode停止时,datanode不是会自动连接到另一个namenode吗?

问题描述 投票:0回答:1

我们在Ubuntu上安装了hadoop 2.2.0并配置了HA,如下。

namenode:master,master-ha

数据节点:从属

我们确认master和master-ah连接正常,状态设置为主备,同时我们也确认从数据节点与主服务器连接。

为了检查故障转移是否有效,我杀死了主服务器上的 namenode 并检查 master-ha 的 hadoop 状态是否更改为活动。 经检查,master-ha的状态变为active。然而,从服务器的数据节点继续留下尝试连接到主服务器的名称节点的日志。

我知道名称节点的故障转移过程,但我不确定数据节点会发生什么。

我认为数据节点应该自动连接到实时名称节点,但我搜索后发现情况并非如此。这是正确的吗?

另外,我很好奇的是,当名称节点更改为活动状态时,可以进行正常的输入/输出。我认为数据节点中不应该发生连接错误,这是事实。我很好奇你对此有何看法。

hadoop high-availability
1个回答
0
投票

数据节点可能处于副本同步或其他读/写操作过程中,并且在发生故障转移时有待处理的操作,所以是的,会有关于连接错误的临时日志...

datanode的core-site.xml文件需要引用NameService和所有Namenode地址;由于原始 NameNode 已经消失,它们不会自动更新,并且无法通知它们任何更改。

您应该考虑使用最新稳定的 Hadoop 3.x,其中协议可能已通过网络重新连接得到改进。

© www.soinside.com 2019 - 2024. All rights reserved.