使用 Aws 胶水爬行器的 Delta Lake 表的云形成模板“无效的 Delta 目标和空的 Delta 表”错误

Question

`` AWSTemplateFormat版本：“2010-09-0

AWSTemplateFormat版本：“2010-09-09” 描述：使用awsglue爬虫的Delta Lake表

资源： 爬行： 类型：AWS::Glue::Crawler 特性： 名称：爬虫名称 数据库名称：database_name 角色：role_arn 目标： 德尔塔目标： - 增量表： - S3_path_for_delta_table_folder（将增量日志作为内部的子项） - WriteManifest：正确

I am expecting to create delta table with symlink with write manifest file enable. I am able to do with aws console but failing in cft with same data path

Answer 1

请使用下面的CloudFormation创建爬虫 用于创建清单的 Delta 源。

我添加了以下属性来强制执行为非本机增量表并对其进行了测试，其按预期工作：

创建NativeDeltaTable：假

AWSTemplateFormatVersion: "2010-09-09"
Description: Delta lake tables using aws glue crawler
Resources:
  MyDeltaCrawler:
    Type: AWS::Glue::Crawler
    Properties:
      Name: "DeltaCrawler"
      Role: "arn:aws:iam::12345678910:role/GlueServiceRole"
      Tags: 
        "env": "dev1"
      DatabaseName: "default"
      Targets:
        DeltaTargets: 
          - CreateNativeDeltaTable: false
            DeltaTables: 
            - s3://your-bkt/path/to/delta/
            WriteManifest: true