从某些Java对象生成Avro架构

Question

Apache Avro提供紧凑，快速的二进制数据格式，丰富的数据结构用于序列化。但是，它需要用户为需要序列化的对象定义模式（在JSON中）。

在某些情况下，这是不可能的（例如：该Java对象的类具有一些成员，其类型是外部库中的外部Java类）。因此，我想知道有一个工具可以从对象的.class文件中获取信息，并为该对象生成Avro架构（如Gson使用对象的.class信息将某些对象转换为JSON字符串）。

Answer 1

看看the Java reflection API。

获取架构如下所示：

Schema schema = ReflectData.get().getSchema(T);

见example from Doug on another question for a working example。

这个答案的功劳属于肖恩·巴斯比。

Answer 2

这是如何Generate an Avro Schema from POJO definition

ObjectMapper mapper = new ObjectMapper(new AvroFactory());
AvroSchemaGenerator gen = new AvroSchemaGenerator();
mapper.acceptJsonFormatVisitor(RootType.class, gen);
AvroSchema schemaWrapper = gen.getGeneratedSchema();
org.apache.avro.Schema avroSchema = schemaWrapper.getAvroSchema();
String asJson = avroSchema.toString(true);

Answer 3

**示例**

Pojo课程

public class ExportData implements Serializable {
    private String body;
    // ... getters and setters
}

连载

File file = new File(fileName);
DatumWriter<ExportData> writer = new ReflectDatumWriter<>(ExportData.class);
DataFileWriter<ExportData> dataFileWriter = new DataFileWriter<>(writer);
Schema schema = ReflectData.get().getSchema(ExportData.class);
dataFileWriter.create(schema, file);
for (Row row : resultSet) {
    String rec = row.getString(0);
    dataFileWriter.append(new ExportData(rec));
}
dataFileWriter.close();

反序列化

File file = new File(avroFilePath);
DatumReader<ExportData> datumReader = new ReflectDatumReader<>(ExportData.class);
DataFileReader<ExportData> dataFileReader = new DataFileReader<>(file, datumReader);
ExportData record = null;
while (dataFileReader.hasNext()){
    record = dataFileReader.next(record);
    // process record
}