使用定义的模式以avro格式从Spark写到Kafka？

Question

我有一个数据框架，需要写到Kafka。

我定义了avro模式，类似于这样。

{
    "namespace": "my.name.space",
    "type": "record",
    "name": "MyClass",
    "fields": [
       {"name": "id", "type": "string"},
       {"name": "parameter1", "type": "string"},
       {"name": "parameter2", "type": "string"},
       ...
     ]
}

然后自动生成java bean。就是类似于这样的东西。

public class MyClass extends org.apache.avro.specific.SpecificRecordBase implements org.apache.avro.specific.SpecificRecord {
  String id;
  String parameter1;
  String parameter2;
  ...
}

我发现要写成avro格式的数据，只有一个办法 到_avro 方法，接受一个列。

所以我的问题是，有没有办法在这个定义的模式下，强制以Avro格式写到Kafka？

Answer 1

只有在使用Confluent时才能这样做。参见 https:/aseigneurin.github.io20180802kafka-tutorial-4-avro-and-schema-registry.html。