将JSON转换为Parquet并将对象分类到文件夹中

Question

我有0个Snowflake的经验，所以请多多包涵。当前，我们有一个系统，其中我们使用存储在S3存储桶（称为存储桶A）中的AWS Kinesis从iWatch收集JSON形式的陀螺仪和加速度计数据，然后使用AWS Glue将这些JSON文件转换为镶木地板文件并划分数据基于其各自的传感器，并将数据存储在2个不同的文件夹（加速度计和陀螺仪文件夹）中。这些转换后的数据存储在新的存储桶中（我们称其为存储桶B）。现在，是否可以让Snowflake完全执行AWS Glue所做的事情，同时将转换和转换后的数据存储在Snowflake中（删除存储桶B）？谢谢

Answer 1

为了获得完整答案：

• 是，雪花存储数据。
• 是的，Snowflake将数据转换为与Parquet类似的格式，但是与Parquet不同，您只能使用Snowflake访问此文件。
• 是，雪花将替换存储桶B。
• 是，Snowflake Tasks或Snowpipe可以代替AWS Glue。

看看https://docs.snowflake.com/en/user-guide/data-load-s3.html