AWS Glue python shell 作业因内部服务错误而失败

问题描述 投票:0回答:2

我正在 AWS Glue 中运行 python shell 程序,但运行大约 10 分钟后失败,并出现错误 内部服务错误。日志或错误日志不提供任何信息。大多数情况下,它会失败,只是说“

Internal service error
”,很少会运行 2 天并超时。该代码使用 pandas 进行转换,看起来不错,它在本地计算机上运行良好,完成了必要的更改,以便它可以在 AWSglue 上工作[在其中将文件读/写到 s3 位置而不是本地文件夹]。这里可能出了什么问题?任何意见都将受到赞赏。

python amazon-web-services dataframe amazon-s3 aws-glue
2个回答
0
投票

这个问题已经解决了。问题是由于 s3 存储桶的访问问题,作业无法下载依赖的 python 库。访问问题解决后,作业开始正常运行。


0
投票

尝试将 DPU 数量增加到 1。 这对我有用。

© www.soinside.com 2019 - 2024. All rights reserved.