Snowflake:数据从AWS US拆分到AWS Australia

问题描述 投票:0回答:1

[AWS美国地区的SNOWFLAKE数据库中有10TB的数据。要求是将列中带有特定标志的数据子集拆分到AWS澳大利亚区域。拆分后,美国数据将约为6TB,澳大利亚数据将约为4TB。有10个应用程序包含此混合数据。我可以想到3个选项来进行此拆分。

1。将整个数据库从A复制到B。然后在中断复制之前暂停应用程序。在B中,删除B数据库中的数据,其中filter是A的数据。在A中,重复删除操作,其中过滤器是B的数据。克隆应用程序集并将新集配置为对B

读/写

2。将B中的CTAS与A

中的数据一起使用

3。使用SSIS将数据从A推送到B。对于此选项,无需停止应用程序。

请提供这些选项的建议,以及是否还有其他选项可以实现此数据拆分。

关于,玛尼

amazon-web-services ssis replication snowflake-data-warehouse
1个回答
0
投票

关于这10个应用程序如何访问雪花表的整个设置尚不清楚,但是对于提供解决方案很重要。

您在两个雪花帐户上同步数据的最佳选择是使用数据库复制故障转移:https://docs.snowflake.net/manuals/user-guide/database-replication-failover.html

基于字段拆分数据可以很容易地通过具有包含此字段的where子句的实例化视图来完成。 https://docs.snowflake.net/manuals/user-guide/views-materialized.html

© www.soinside.com 2019 - 2024. All rights reserved.