更改 AWS Glue 作业参数的值

问题描述 投票:0回答:2

有没有办法可以更改作业本身中 AWS Glue 作业参数的值?假设我有一个参数,其键为 --color 且值为“red”:

args = getResolvedOptions(sys.argv, ['color'])
color = args['color']

上面的代码将为变量颜色返回“红色”。

如何更改此参数,以便下次运行作业时,颜色参数为蓝色?

python amazon-web-services aws-glue
2个回答
0
投票

您可以将“颜色”设置为作业的默认参数,这样如果没有给出“--color”,则使用“红色”。

要将默认值更改为“蓝色”,您将需要更新作业定义。如果需要的话,这可以在作业本身内部完成(通过使用 boto3 并拥有必要的权限)。

寻找

DefaultArguments

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.update_job


0
投票

在这种情况下最好的方法是使用参数存储。

您可以将每个参数存储在参数存储中,并在需要时安全地更新。

gluejob 参数是作业的构造函数和环境变量,您不应该更改它。在运行时更新参数是危险的,如果您使用 IAC cloudformation 来部署作业,将会导致数据丢失。

© www.soinside.com 2019 - 2024. All rights reserved.