Akka流Kafka消费过程并行化

问题描述 投票:0回答:1

我正在使用Akka Kafka连接器制作一个Kafka消费者应用程序,我希望消费者能够并行处理消息。选择消费者我如何在消费端配置并行性?

apache-kafka akka akka-stream alpakka akka-kafka
1个回答
1
投票

当你谈论Kafka时,有不同层次的 "并行性",然后是akka-stream。

Kafka处理可以通过在一个主题中引入多个分区,让一个Kafka消费者按照顺序从一个单一的分区中消费所有的消息,即按照序列id或偏移量的顺序消费消息,从而实现并行。这允许多个消费者同时从多个分区消费。

Akka流有一个非常顺序的方法,它默认以一个一个的方式进行处理。但这当然取决于你的互连流。我强烈建议阅读 这个 来了解在akka流中如何使用线程和并发。

你的问题的答案是,并行性取决于所有这些方面,而不是选择正确的akka流 "Consumer"(在akka流的术语中,我称之为Source),它主要定义了处理后可以提交的offset的访问。

© www.soinside.com 2019 - 2024. All rights reserved.