我们可以直接在具有文件的aws s3存储桶顶部创建雪花管理的冰山表吗???像雪花外部桌子

问题描述 投票:0回答:1

目前我正在使用复制命令将数据从 aws s3 存储桶文件加载到雪花中,但我不想将数据存储在雪花中,我尝试过使用雪花外部表,它需要太多时间来查询我正在考虑进行雪花管理冰山表,你能帮我吗?是否可以直接在 aws s3 文件之上创建冰山表,或者我们需要通过复制或雪管等方式通过雪花加载数据,你能提供清晰的解释吗,这会很有帮助

我正在尝试减少将数据从 aws s3 加载到雪花的计算和存储成本,但是雪花外部表花费太多时间,它增加了查询运行时间,请明确我们是否可以在 aws s3 文件之上创建冰山表?使用任何复制命令或插入命令

snowflake-cloud-data-platform
1个回答
0
投票

配置外部卷描述如何在现有 s3 存储桶上设置外部卷。

CREATE OR REPLACE EXTERNAL VOLUME exvol
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://MY_EXAMPLE_BUCKET/'
            STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myrole'
            ENCRYPTION=(TYPE='AWS_SSE_KMS' KMS_KEY_ID='arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000')
         )
      );

创建 Iceberg 表 演示了直接通过 s3 存储创建 Iceberg 表。要创建Snowflake管理的Iceberg Table,命令如下:

CREATE ICEBERG TABLE my_iceberg_table (amount int)
  CATALOG='SNOWFLAKE'
  EXTERNAL_VOLUME='my_external_volume'
  BASE_LOCATION='my/relative/path/from/extvol';
© www.soinside.com 2019 - 2024. All rights reserved.