如何创建分布式文件系统[关闭]

问题描述 投票:1回答:1

仅出于自我教育,我决定实现“ hello world”分布式文件系统。最简单的一个。并决定阅读有关该主题的理论。但是...当我向Google询问此问题时,它会显示诸如“如何配置hdfs”或“如何在Windows上设置分布式fs”之类的答案,这不是我感兴趣的...

有人可以在这方面给我指出一些好的文章或书籍。非常感谢!

distributed fs dfs
1个回答
3
投票

嗯,如果您真的决定实现这样的文件系统,则必须从分布式系统开始。我建议阅读Tanenbaum参考书http://www.distributed-systems.net/index.php?id=distributed-systems-principles-and-paradigms

小心,这个主题确实很复杂,分布式系统几乎很难实现。

如果要查看一些已经实施的分布式文件系统,则可以查看GFS/GFS2(来自RedHat)。您也可以从oracle看一下ocfs2。您也可以看看gluster https://fr.wikipedia.org/wiki/GlusterFS

您可能还可以在google file system上找到一些白皮书(当它仍然是大学的作品时。)>

这种分布式系统的主要问题是故障检测(检测在文件系统上写入时节点何时崩溃=>需要确保没有损坏)。有多种策略,一种可能是实施受分布式锁保护的日志。

[另一个大(经典)问题是'split brain'问题,当群集由于网络故障而被分为两组时(假设交换机坏了)。两组都“认为”另一组已死(它们无法与之通信),但是无法确保远处的组没有写入数据而导致数据发散。

希望您能通过所有这些找到想要的东西。

编辑:现在不推荐使用GFS,redhat正在使用和开发'Ceph'

© www.soinside.com 2019 - 2024. All rights reserved.