Snowflake中的数据转换-视图,工具等?

问题描述 投票:0回答:1

我们正在考虑Snowflake,并想了解如何使用它以及其他工具来克服我们的主要问题之一-ETL!当前,我们将传统DWH与包含SSIS和某些视图的ETL流程一起使用。这具有该方法的所有常见陷阱-最值得注意的是,它需要很长时间!

[我以要在Snowflake中转换为ELT模型为前提,我开始研究工具来完成其中的'T'部分,但是,我只是在听这个播客:https://www.dataengineeringpodcast.com/snowflakedb-cloud-data-warehouse-episode-110/

并且建议仅将SQL View拍打并在PowerBI或Tableau中公开就可以满足T部分的事情!...

只是想知道人们在这里经历了什么?-您是否仅通过在Snowflake中编写视图来进行转换?-您是否使用专门用于解决此需求的第三方工具?

其次,对于提取和加载,您是否:-仅使用雪花-使用第三方工具

如果您这样做是为了从非时间序列来源在Snowflake中创建某种时间序列,我特别感兴趣。这是我们渴望做的。

view transformation snowflake-data-warehouse
1个回答
0
投票

这个问题很难回答,尤其是在不知道您的用例的情况下。对于这里值得的是我的想法:

  • 除非您有非常简单的设置,否则请不要将视图停留在表顶部并使用报表工具。如果您正在考虑使用Snowflake之类的工具,那么您可能希望采用更可持续的方法,这种方法在成本和视图复杂性方面可能变得令人望而却步。

  • 使用第三方工具来管理您的ELT流程。您选择的工具将取决于您的内部技能和云策略,看看其中的工具,例如Stich,Fivetran等。如果您不介意使用本地技术,为什么不坚持使用SSIS或使用Apache Airflow之类的工具呢? (需要提高技能)

  • Snowflake不会帮助您使用EELT,您将需要使用第三方工具来管理从SSIS等其他系统中提取的数据。它将有助于L部分,为此,您可以使用Snowflake生态系统中可用的Snowpipe或COPY命令。 Snowflake还将帮助您与外部各方共享数据,这非常好。

© www.soinside.com 2019 - 2024. All rights reserved.