将 Kafka 输入流动态连接到多个输出流

Question

Kafka Streams 中是否内置了允许将单个输入流动态连接到多个输出流的功能？

KStream.branch

允许基于真/假谓词进行分支，但这并不是我想要的。我希望每个传入日志确定它将在运行时流式传输到的主题，例如，日志

{"date": "2017-01-01"}

将流式传输到主题

topic-2017-01-01

，日志

{"date": "2017-01-02"}

将流式传输到主题

topic-2017-01-02

.

我可以在流上调用

forEach

，然后写入 Kafka 生产者，但这看起来不太优雅。在 Streams 框架内有更好的方法来做到这一点吗？

Answer 1

更新

从 Kafka 2.0 开始，通过将

TopicNameExtractor

传入

to()

原答案

如果您想根据数据动态创建主题，目前 Kafka 的 Streaming API 中您无法获得任何支持（

v0.10.2

及更早版本）。您需要创建一个

KafkaProducer

并自行实现动态“路由”（例如使用

KStream#foreach()

或

KStream#process()

）。请注意，您需要进行同步写入以避免数据丢失（不幸的是，这性能不是很好）。有计划通过动态主题路由来扩展 Streaming API，但目前还没有该功能的具体时间表。

您还应该考虑另一件事。如果您提前不知道目标主题并且仅依赖所谓的“主题自动创建”功能，则应确保使用所需的配置设置（例如分区数量）创建这些主题或复制因子）。

作为“主题自动创建”的替代方案，您还可以使用管理客户端（自

v0.10.1