AWS Glue Jobs上是否有可用的会话？

Question

在我的AWS Glue工作流程（使用CloudFormation定义）中，我有一些作业（pythonshell），这些作业具有重复的逻辑来创建一些参数，例如相同的db连接字符串等。此外，通过Boto3也存在重复的逻辑，如下所示：

import boto3
sm_client = boto3.client(service_name='secretsmanager', region_name=region_name)
db_password = sm_client.get_secret_value(SecretId="MY_DB_PASSWORD")["SecretString"]

以获取数据库的相对密码。

如上所述，这种逻辑在多个作业之间重复。是否有任何排序会话，或者您有关于在同一工作流程的多个作业中存储此类信息的想法？

Answer 1

您可以使用此https://docs.aws.amazon.com/glue/latest/dg/workflow-run-properties-code.html定义的工作流属性在所有胶水作业中共享信息>

但是对于敏感信息，我宁愿使用SecretManager或Glue数据库连接。