如何访问 Glue 作业脚本中的 GlueJobOperator script_args 输入参数？

Question

我有一个气流 DAG，它使用 GlueJobOperator 模块来触发 AWS Glue 作业。一切工作正常，除了我现在尝试通过 GlueJobOperator 的 script_args 参数传递一些输入参数，如下所示：

script_arguments = {
        "start_date": "2024-01-31",
        "end_date": "2024-02-02"
    }

glue_job_task = GlueJobOperator(
        task_id="trigger_glue_job",
        job_name="attribution_dag_test",
        iam_role_name="AWSGlueServiceRole",
        s3_bucket="aws-glue-assets-191965435652-us-east-1",
        script_args=script_arguments
    )

我的理解是我应该能够在我的 Glue 作业脚本中访问这些参数。

我尝试了一些方法，例如尝试使用

script_args

来获取

getResolvedOptions

，如下所示：

args = getResolvedOptions(sys.argv, ["JOB_NAME", "start_date", "end_date"])

但我没有任何运气。

有谁知道我如何访问

script_args

？

Answer 1

脚本参数应采用

--{key_name}

形式 - 开头有两个连字符，键名称没有连字符，请参阅：使用 getResolvedOptions 访问参数

在你的情况下，你的

script_arguments

应该看起来像

script_arguments = {
    "--start_date": "2024-01-31",
    "--end_date": "2024-02-02"
}