aws胶水云形拼花作业

Question

谁有用于将 JSON 转换为 Parquet 格式的胶水作业的 yaml Cloudformation 模板示例？Cloudformation 中围绕胶水作业的文档有点薄弱，如果有一个起点，会有很大的帮助。我已经编写了部分模板，但发现正确建立一些字段有点混乱。

具体来说，我很难找到如何为作业的执行指定一个临时目录，以及指定S3中的源和目标位置。

提前感谢任何帮助

Answer 1

对于CloudFormation的Yaml部分和s3中的临时目录，你可以使用这个。

Type: AWS::Glue::Job
Properties:
  DefaultArguments:
    '--TempDir': 's3://bucket-name/directory'

在S3中指定源和目的地位置 "的一部分，我不明白这个场景... ... 你能给我更多的信息吗？