如何从 Avro 记录中提取字段子集，然后使用另一个模式写入 S3？

Question

我们有一个 S3 连接器，它从主题读取数据并将 Avro 记录按原样批处理在一起，然后将它们作为 .avro 文件写入 S3。

我的用例是，我想要一个更智能的连接器，它可以提取字段的子集，然后将它们作为 .avro 文件写入 S3，但使用与我提取的字段子集。

SMT 似乎是一个很好的方法，但

ExtractField

只适用于单个领域（据我所知）。有没有一种简单的方法可以使用内置 SMT 来满足上述用例，或者我是否必须编写自定义解决方案？这似乎是普遍需要的东西。

Answer 1

SMT 应该很简单...常见的解决方案是使用流处理器（KStreams、ksqlDB、Flink、Spark 等）将所需字段的子集写入新主题（使用新的字段子集）架构（如果需要），然后从中创建接收器连接器。