将csv文件的数据递归传输到redshift

Question

我有一个场景，s3 中有大约 90 个 CSV 文件，我希望我的胶水作业一次选择一个文件（不是一次全部）并将数据加载到红移。我怎样才能实现这个目标？

我不知道该尝试什么，我需要有人帮助我

Answer 1

您可以使用红移光谱（它仅使用底层的粘合目录/表）并使用“$path”伪列来告诉您 s3 文件名。这样您就可以查询按文件名排序的数据，甚至无需将其提取到 redshift 中。