我们计划从 glue 0.9 迁移到 3.0,并且我们正在关注相同的 aws 文档。
https://docs.aws.amazon.com/glue/latest/dg/migrating-version-30.html
作为其中的一部分,我们尝试在 glue 0.9、1.0 和 2.0 中运行作业,在 legacy --> jobs 部分
source --> csv 加载到目标 parquet
作业因错误而失败:
检查日志和错误日志链接时,显示“指定的日志流不存在”
我们使用 Glue 1.0 版本运行时出现同样的问题(“指定的日志流不存在”)
然而,使用 Glue 2.0,相同的配置工作正常
你能告诉我如何进行吗,在所有 3 个测试中选择的区域 us-east-1(N Virginia)
创建源表和目标数据库,上传测试文件以在 glue 0.9、1.0 和 2.0 中运行作业
0.9 和 1.0 失败,而 2.0 运行良好。作为我们正在进行的迁移的一部分,这是检查版本 0.9 和 1.0 的可行性和当前状态的重要步骤。
如果其他人也面临同样的问题,请告诉我如何解决。
• 如何使用每次运行具有不同标签值的 boto3 触发 Glue 作业
• AWS Glue 上传 JSON : putObject: AccessDenied: Access Denied
• AWS 运行 Glue 费用“USE1-GlueInteractiveSession-DPU-Hour”- 306.719 DPU-Hour 不知道如何停止?
• Glue 作业创建表并在 s3 中写入抛出 __PLACEHOLDER__ 错误
• AWS:运行 Python 脚本以在 S3 中创建文件。 S3 中没有输出,但在本地工作
• 无法在 AWS Glue Notebook 中执行第一个命令
• Github Actions:如何在 WF 中检索运行时作业 ID?
• 在 AWS Glue 3.0 中使用 1900 年之前的时间戳编写镶木地板时出现问题
• 通过应用日志查看AWS Opensearch中运行任务的日志
• 如何在不同的私有包上作为一个团队工作并使用这个包 AWS 粘合作业?
• 在具有混合模式的分区上查询 Athena,给出 HIVE_CURSOR_ERROR:无法读取 Parquet 文件: