使用 Python ODBC 驱动程序将数百个 CSV 文件加载到各自的 Snowflake 表中

问题描述 投票:0回答:1

我有一台 Red Hat Linux 服务器和数百个 CSV 文件(大多数文件大小为 100mb)。 我已经在此服务器上安装了 Snowflake ODBC 驱动程序,我想将这些文件迭代加载到相应的 Snowflake 表中。我正在寻找解决方案。有人可以帮忙吗?谢谢。

我找不到加载 CSV 文件的解决方案。我在互联网上找到的一些解决方案只是通过运行插入语句并在插入子句中提供字段名称来加载 1 个 CSV 文件。但就我而言,有多个 CSV 文件,这些文件的列数不同。因此,该解决方案是不可行的。

python csv snowflake-cloud-data-platform odbc redhat
1个回答
0
投票

您可以为每个 CSV 文件创建一个 STAGE,然后将它们加载到各自的 STAGE。从舞台上,您可以将它们加载到表中。将一个阶段映射到一张表(来源类似概念)。我已经快速编写了一个 PYTHON 程序,它可能会对您有所帮助。程序在这里

https://github.com/rajib76/sf_ops

如果您使用 PYTHON 来包装加载逻辑,您可以通过调度程序自动执行此操作

© www.soinside.com 2019 - 2024. All rights reserved.