kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

使用Kafka处理大型邮件

如何处理Kafka中的大型消息超过20MB等[2019-03-13 08:59:10,923] ERROR使用密钥向主题测试发送消息时出错:13个字节,值:11947696个字节,错误:(org .. ..

回答 1 投票 -1

Python librdkafka生成器针对本机Apache Kafka Producer执行

我正在使用针对Python的confluent-kafka的本机java实现测试Apache Kafka Producer,以查看哪个具有最大吞吐量。我正在部署一个Kafka集群,其中有3个Kafka经纪人和3个......

回答 1 投票 8

如何查看kafka标题

我们使用org.apache.kafka.clients.producer.ProducerRecord public ProducerRecord(String主题,整数分区,K键,V值,Iterable)向Kafka发送带有标题的消息 ...

回答 2 投票 2

Transactional Producer与Just Idempotent Producer Java(异常OutOfOrderSequenceException)

我使用带有幂等生成器配置的spring-kafka:这些是我的配置道具:属性props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,Joiner.on(“...

回答 1 投票 3

当无法连接到Kafka时,强制Spring Boot应用程序失败

我想让我的spring启动应用程序在启动时失败,如果它无法连接到kafka代理。我的应用程序只是向主题发布消息。我将此行添加到我的属性文件中但没有...

回答 1 投票 0

卡夫卡独立消费者

我是Kafka的新手并试图验证我的设计。以下是我所拥有的。我有一个生产者发布到一个主题,并有一堆容器(我的Web应用程序已部署),消费者在...

回答 2 投票 2

Kafka在崩溃后重新启动时如何识别组中的消费者

假设我有两个消费者 - 一个消费者群体中的C1和C2。在C1和C2生效之前,主题上有10条消息。 C1读取前5条消息并在C2读取时关闭......

回答 1 投票 1

强迫消费者只读取消费者生活后出现在主题中的那些消息

我们有什么方法可以强迫消费者阅读最新消息?例如假设我在消费者群体CG1中有一个主题t1和消费者C1。如果t1中有10条消息(m0到m10),那么只要C1 ...

回答 1 投票 1

Kafka:序列化时的消息大于您使用max.request.size配置配置的最大请求大小

得到以下错误(Kafka 2.1.0):2018-12-03 21:22:37.873错误37645 --- [nio-8080-exec-1] osksupport.LoggingProducerListener:发送带key ='的消息时抛出异常...

回答 3 投票 2

当多个生产者向Broker写入相同的消息时,Broker会做什么?还有一个相关的问题(由于150个字符的限制)

生产者A将消息写入Broker A(分区1),生产者B将相同的消息写入Broker A(分区1)。消息或经纪人会怎么样?我猜是因为有相同的......

回答 1 投票 0

从多个生产者向kafka发送数据时,我收到InterruptedException

我正在尝试使用kafka-clients api运行kafka生产者。我有多个生产者使用单独的线程运行,每个生成器都尝试将数据写入kafka。问题是我得到了打断......

回答 1 投票 0

WSO2 SP - 具有JSON属性的Kafka源

我正在尝试使用以下代码从Kafka读取JSON数据:@source(type ='kafka',bootstrap.servers ='localhost:9092',topic.list ='TestTopic',group.id ='test', threading.option ='单......

回答 1 投票 4

我们正在为Kafka使用Spring Cloud Stream,我们正在寻找具有消费者API的Exactly Once Semantics

我们正在使用Spring Cloud Stream for Kafka并寻找Exactly Once Semantics。我们有一个解决方案,正常工作正常1)从生产者2启用Idempotent和交易)...

回答 1 投票 0

一旦我们的数据被处理,如何刷新kafka队列?

我有一个有4个主题的kafka制作人。当我根据CSV的类型上传CSV时,我会根据其主题将其发送给消费者。如果我第一次上传它会很好但是一次......

回答 1 投票 3

在线为kafka添加分区或代理是否安全?

谢谢你的耐心。在线将主题分区添加到主题后,kafka使用者将停止阅读消息,并且不会引发任何异常。消费者只是阻止。每次我们都要重启......

回答 2 投票 3

生产者和消费者在发送视频文件时通常如何工作?

根据我的理解,当我想向Kafka经纪人发送电影(4GB)时,一个制作人将发送一个4GB字节的视频文件(序列化它)并将其发送给kafka经纪人和许多想要...的消费者。

回答 2 投票 4

使用Python中的kafka生成器发送数据的问题(Jupyter Notebook)

我正在尝试使用Kafka,Python和Twitter创建大数据分析。我有一个推文数据流,我只采用它们的标签。我的问题出现在制片人Kafka用于...

回答 1 投票 0

使用python将列表发送给Kafka生产者

我有一些我希望通过Kafka制作人发送的列表。 listA [1,2,3] listB [“cat”,“dog”,“fish”]生成器将消息作为字节发送,所以我不确定如何正确设置...

回答 2 投票 0

我正在使用Kafka Producer Api将文件中的消息写入kafka主题,但kafka主题的日志显示为空?

我使用生产者API代码下面的代码将消息写入Kafka主题,但它无法将消息写入主题:import java.util.Properties import com.typesafe.config.ConfigFactory import org ....

回答 2 投票 0

生产者#initTransactions不适用于KafkaContainer

我尝试通过交易向Kafka发送消息。所以,我使用这段代码:try(Producer producer = createProducer(kafkaContainerBootstrapServers)){producer ....

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.