生成标准化关系数据的非标准化视图

问题描述 投票:0回答:1

我是一个正在开发基于CQRS的应用程序的项目的一部分。该应用程序将从NoSQL存储中获取所有数据,并以非规范化格式检索该数据。但是,实际数据位于关系系统中。 NoSQL存储充当关系数据的视图。该视图应定期进行更新(可能每隔几分钟更新一次)。

我不确定应使用哪种技术来自动执行此更新过程。非规范化视图是可以在SQL查询内部生成的JSON,但这将使更新过程特定于数据库供应商,这将成为问题。我尝试使用Pentaho Kettle,但事实证明,构建真正的非规范化结构非常繁琐且耗时。

考虑到应该易于维护和适应的技术,哪种技术合适?

我正在考虑编写Python脚本,但是不确定它们的可维护性。

NoSQL存储是Couchbase,用于开发的RDBMS是MariaDB。

json nosql etl denormalization denormalized
1个回答
0
投票

似乎很好用的解决方案是仅将Pentaho Kettle用于查询数据库和更新NoSQL存储。 JSON作为查询的一部分生成(在RDBMS之间标准化了大多数JSON函数,所以很好)。因为我的数据库用户无法使用JSON_ARRAYAGG,所以所有子查询都表示为序列化JSON,该序列被解析并替换为Kettle转换中的实际JSON。

© www.soinside.com 2019 - 2024. All rights reserved.