在Apache Flink中从Kafka头读取数据的方法

Question

我有一个项目，我从Kafka消费数据。显然，有几个字段将包含在标题中，我还需要为每条消息阅读。目前在Flink有办法做到这一点吗？

谢谢！

Answer 1

@Jicaar，实际上Kafka自版本Header以来添加了0.11.0.0概念。 https://issues.apache.org/jira/browse/KAFKA-4208

问题是与flink-connector-kafka-0.11_2.11一起提供的flink-1.4.0，并且据说支持kafka-0.11.0.0在从kafka阅读时忽略了邮件标题。

所以很遗憾，除非你在flin中实现自己的KafkaConsumer，否则无法读取这些标题。

我也有兴趣阅读kafka消息标题，并希望Flink团队将为此添加支持。

Answer 2

在进一步研究Kafka之后，Kafka实际上没有标题。你可以看到元数据，但它不是一回事。