Apache Flink - kafka生产者将消息传递给kafka主题,但在不同的分区上

问题描述 投票:0回答:1

现在我的flink代码正在处理一个文件并使用1分区将kafka主题上的数据下沉。

现在我有一个带有2分区的主题,我希望flink代码使用DefaultPartitioner在这两个分区上接收数据。

你能帮帮我吗?

这是我当前代码的代码片段:

DataStream<String> speStream = inputStream..map(new MapFunction<Row, String>(){....}
Properties props = Producer.getProducerConfig(propertiesFilePath);
speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName, new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), props, FlinkKafkaProducer011.Semantic.EXACTLY_ONCE));
apache-flink
1个回答
0
投票

通过将flinkproducer改为来解决这个问题

 speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new SimpleStringSchema(), 
 props));

早些时候我正在使用

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,
new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), props,
FlinkKafkaProducer011.Semantic.EXACTLY_ONCE));
© www.soinside.com 2019 - 2024. All rights reserved.