如何从 AWS Glue 作业将数据写入 Iceberg 表中

问题描述 投票:0回答:1

我在 AWS Glue 中创建了一个作业,该作业从 Postrgres 表中获取数据并将其写入 S3 中的 CSV 文件中。并且工作正常。

下一步是将目标替换为之前在数据库/表中创建的 Iceberg 表。 在这里,我收到一个错误:“错误类别:UNCCLASSIFIED_ERROR;调用 o125.pyWriteDataFrame 时发生错误。无法执行 HTTP 请求:连接超时”。

我发现了一些关于在 VPC(而不是公共 VPC)中运行作业的文章。我做到了,但错误是一样的。 您能否告诉我应该如何解决该错误,以便能够将数据插入到 Iceberg 表中?

我尝试将所有可能的权限添加到VPC、网络连接、子掩码等中,但不确定我到底应该做什么。

欢迎任何建议或想法:)

谢谢

amazon-web-services aws-glue amazon-vpc vpc-endpoint
1个回答
0
投票

@Adriano,这个问题解决了吗?我遇到了同样的问题,但无法弄清楚它想做什么。如果我在没有 VPC 的情况下运行它,它可以工作,但是当我需要让它在 VPC 中运行时,它也会以同样的方式失败。

© www.soinside.com 2019 - 2024. All rights reserved.