将数据从NoSQL迁移到RDBMS

问题描述 投票:-1回答:1

我们在HBase中已有数据,我们想移至AWS Aurora(MySQL),我们需要使用现有数据,因此必须以某种方式将NoSQL数据加载到Aurora中。

这不是一个很大的数据库。只是几张桌子。

是否存在将数据从NoSQL迁移到关系数据库的最佳实践/工具?我在互联网上看到很多反面的问题(DB-> NoSQL),但是我的要求有所不同,我找不到任何有用的信息。

有人可以帮忙吗?我什至从哪里开始?

nosql hbase relational-database amazon-rds-aurora
1个回答
0
投票

一种无需编写过多自定义代码的简单方法就是使用Hortonworks(SHC)的Spark-HBase连接器将HBase表中的数据读取到Spark数据帧中,并将该数据帧写入MySQL表中。关键的挑战是使SHC正常工作,因为根据我的经验,它对版本非常敏感。因此,诀窍是正确协调您的Spark,HBase和SHC版本(并发现正确的组合比您想象的要棘手)。

但是,如果您设法正确地获得所有依赖关系,则只需在Jupyter Notebook或Pyspark中执行几行代码即可。如果很大,您可以在Yarn上运行它以并行化工作负载。应该管用。试试看。

© www.soinside.com 2019 - 2024. All rights reserved.