多SQL数据库的数据仓库架构

问题描述 投票:0回答:1

我公司不同部门有不同的SQL数据库。他们希望拥有一个可以访问所有数据/数据库以进行分析的地方/仓库。数据是相关的,体量不高。所有数据库都没有共同的主键。示例:市场部和人力资源部没有共同主键 总体最佳解决方案是什么?另外,最好的存储解决方案。请解释该决定背后的想法。我是数据工程新手。

我应该使用 AWS s3 进行存储吗?

database architecture storage modeling warehouse
1个回答
0
投票

您希望创建一个数据湖,以便可以进行跨数据库查询。这不是一个简单的过程,您需要花费大量时间尝试连接这些数据库,根据您所知道的信息(姓名、出生日期、员工编号、电子邮件地址等)创建合成密钥。您可以从 AWS Data Lake Formation 之类的东西开始,让您了解所需的结构类型(您需要的不仅仅是 S3),但它不会神奇地修复您的数据。您将需要使用 Amazonglue 或其他解决方案来清理和标准化您的数据,以便您可以跨部门智能地查询它。

© www.soinside.com 2019 - 2024. All rights reserved.