使用额外的注释/元数据扩展 avro 字段

Question

有时为字段提供上下文信息很有用。

protobuf 等其他协议通过其所谓的 Option 支持注释，允许以下自定义（uuid 字段注释）：

message FarmerRegisteredEvent {

  string uuid = 1[(pi2schema.subject_identifier) = true];

  oneof personalData {
    ContactInfo contactInfo = 2;
    pi2schema.EncryptedPersonalData encryptedPersonalData = 6;
  }

  google.protobuf.Timestamp registeredAt = 4;
  string referrer = 5;

}

是否可以在 avro 模式中添加此类元数据信息？

Answer 1

这当然似乎是可能的，例如参见此线程：https://community.databricks.com/t5/data-engineering/add-custom-metadata-to-avro-file-with-pyspark/td-p /9182