Snowflake:如何在将 parquet 数据文件从 aws s3 加载到雪花表时查找所有错误记录

问题描述 投票:0回答:1
copy into db.schema.ZDATA_4 
from @stage/load/zdata_4/
file_format=(TYPE=parquet )
ON_ERROR=CONTINUE
Force=TRUE 
MATCH_BY_COLUMN_NAME = 
CASE_INSENSITIVE 
validation_mode 
=return_all_errors;

运行上述加载命令时出现以下错误消息:
MATCH_BY_COLUMN NAME 不能与 VALIDATION.MODE 一起使用,因为 VALIDATION_MODE 不支持带变换的 COPY

在 Snowflake 中,我们可以在验证模式下加载没有 match_by_column_name 的 parquet 文件吗?

amazon-s3 snowflake-cloud-data-platform parquet
1个回答
0
投票

将镶木地板数据文件加载到Snowflake表后,您将收到errors_seen。 SQL减查询可用于找出未加载的记录。

select col1 || col2 || col3 
from @stage_path
minus
select col1 || col2 || col3
trgt_table

在这里您将无法找到错误消息或行号。

© www.soinside.com 2019 - 2024. All rights reserved.