Hadoop机架拓扑

问题描述 投票:1回答:1

[在Hadoop中,我读到可以通过提供机架的IP地址或其关联的主机名来配置机架拓扑。这是否意味着在一个Hadoop群集中,只要从NameNode可以访问(可以被ping通),理论上您就可以在完全独立的地理位置中拥有不同的机架?

如果是这种情况,我会假设机架感知算法定义的块的复制策略将是相同的。

hadoop hdfs distributed-system
1个回答
0
投票

Hadoop默认情况下支持机架,并且所有节点都位于称为/default-rack的单个机架下。如果集群在数据中心内或跨数据中心有多个机架,则必须使hadoop组件(尤其是Namenode)知道这些不同的机架。

在Hadoop中,我读到可以通过以下方式配置机架拓扑提供机架的IP地址或其关联的主机名。

是,一个脚本,它为每个数据节点的IP或主机名生成最多一个机架的映射,将配置机架拓扑。

这意味着从理论上讲,您可以在一个Hadoop集群中在完全不同的地理位置具有不同的机架只要它们可以从NameNode到达(可以被ping通)?

是。但是,作为最佳实践,不建议跨不同地理位置使用节点,因为这可能会增加节点之间的网络延迟。并且群集中的所有节点都应可以访问它们。

如果是这种情况,我会假设机架感知算法定义的块将相同。

是。机架拓扑中的所有变体的块放置策略均相同。

© www.soinside.com 2019 - 2024. All rights reserved.