我需要为实时引擎实现分布式存储系统。存储系统的一些基本要求是:
1)将数据分区到不同的分区
2)每个分区都具有容错和数据持久性的副本
3)动态缩放节点
这似乎是许多大数据项目的常见功能。所以我想知道是否有任何开源框架可以让这更容易?我做了一些挖掘但没有发现任何有用的东西。任何建议表示赞赏。
也许这是显而易见的,但HDFS是大多数大数据项目在幕后使用的,而作为Hadoop的一部分,它是开源的。
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html