kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

在 Kafka Producer Java API 中使用票证缓存

我想编写一个使用客户端票证缓存的 Java 应用程序,而不是使用 Keytab 文件。我发现的示例都适用于定义 Keytab 和 prin 的 JAAS 配置...

回答 1 投票 0

如果不可用,如何配置 Kafka 生产者停止重试连接到代理

如果不可用,如何配置 Kafka 生产者停止重试连接到代理? 我添加了重试配置,但它不起作用,它仍然无限期地重试...... 我想滑雪...

回答 0 投票 0

Kafka 生产者在 org.apache.kafka.clients.producer.RoundRobinPartitioner 中的 0、2、4 等替代分区中产生价值

Kafka 生产者在 org.apache.kafka.clients.producer.RoundRobinPartitioner 中的 0,2,4...等替代偶数分区中产生价值 我有 6 个分区,它们是 6 个并发消费者

回答 0 投票 0

如何从数据库中填充自动递增的主键字段而不是在 Kafka Producer 中显式填充它?

我正在创建一个端到端的 kafka 消息传递示例。 当我来到从生产者那里将用户数据填充到 kafka 主题的步骤时,并在使用以下设置我的模式注册表之后: { “

回答 0 投票 0

Kafka交易相关问题

我写了一个Kafka消费者和生产者。 producer是transacted producer,consumer配置isolation.level为read_commited。 但最终,过了一段时间,消耗...

回答 0 投票 0

Kafka生产者如何配置日志记录?

我正在使用 Kafka 生产者客户端,我的项目中没有任何 log4j 配置。 在运行时,程序会打印很多我真的不想要的 Kafka 调试日志。 所以,我试着添加一个 ...

回答 6 投票 0

无法使用 Spring KafkaProducer 发布 Kafka Avro Schema 消息 - 使用 Python

Kafka 配置模式配置 configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaConfigProperties.getBootstrapServer()); configProps.put(ProducerConfig.

回答 0 投票 0

在 java 应用程序中使用 kafka 生产者时获得太多 TCP-ESTABLISHED 连接。为什么?有人能告诉我吗?

我正在使用 apache kafka-client-3.2.0(也使用最新的 Apache kafka-client-3.4.0 jar)在 java 中创建生产者。我有 5 个主题,每个主题的复制因子 = 1 和分区 = 1,因为我...

回答 0 投票 0

KAFKA 提交问题

我是 KAFKA 经纪人的新手,根据要求生产者必须提交消息。(使用 librdkafka c/c++ 库) 所以,首先在我的 producer.c 中我使用了 rd_kafka_commit (rk,NULL,0) 但我得到了...

回答 1 投票 0

多个 kafka 生产者线程得到 spawn

我是kafka的新手。我有两个卡夫卡经纪人,我正试图通过这两个经纪人推送数据。一个是主要的,另一个是备用的。 我正在做一个小分析,我正在将数据推送到...

回答 1 投票 0

Kafka 分区不匹配 MurmurHash2 32 位算法

我正在研究灾难恢复功能,我需要确定给定密钥的 Kafka 分区以便重播来自该分区的消息。我读过如果向 Kafka 提供密钥......

回答 1 投票 0

Confluent Kafka:当我将 acks 设置为 0 时,我是否应该在生成消息后进行轮询?

我有一个关于优化我的 kafka 生产者的问题(使用 confluent-kafka 库在 python 中工作)。我有一个主题,确认领导者收到消息并不重要......

回答 0 投票 0

在事务流api Alpakka中,事务Id要传递什么值?

使用Alpakka,我想使用Transactional.Source Api消耗记录,并使用Transactional.flow将其生成到另一个主题,但文档说我们需要传递transactionId。我应该如何...

回答 1 投票 1

避免Kafka生产者信息的重复

我使用KafkaTemplate从Spring boot.Java 8我的主要目的是,消费者不应该消耗的消息两次。1) 调用一个表获取100行并发送给Kafka 2) 假设我在处理...

回答 1 投票 0

避免Kafka生产者信息的重复

我使用KafkaTemplate从Spring boot.Java 8我的主要目的是,消费者不应该消耗的消息两次。1) 调用一个表获取100行并发送给Kafka 2) 假设我在处理...

回答 1 投票 0

事务性Kafka生产者

我正试图使我的kafka生产者成为事务性的。我正在发送10条消息.如果发生任何错误,没有消息应该被发送到kafka即没有或全部。我使用的是Spring Boot KafkaTemplate。

回答 1 投票 0

在SASL握手过程中,意外的METADATA类型的Kafka请求。

我试图使用SASL Plain将Kafka Java Client连接到Kafka broker。但是当我尝试从生产者发送消息时,Kafka服务器记录了以下错误。[2020-04-30 14:48:14,955] ...

回答 1 投票 0

KAFKA:分离并重试(还剩1次尝试)。错误:MESSAGE_TOO_LARGE。MESSAGE_TOO_LARGE。

我正在发送10条消息。2条消息是 "正确的",1条消息的大小超过1MB,由于RecordTooLargeException,被Kafka broker拒绝。我有2个疑问 1) MESSAGE_TOO_LARGE只出现在...

回答 1 投票 0

在Kafka Send()方法的Onfailure()方法调用中获取Objects值。

我想获取那些没有被发送到Kafka的Person对象,即onFailure()方法。1)我创建了人名类型的临时数组,并将其传递给onFailure().但这并不奏效,它总是显示......。

回答 1 投票 0

Kafka用完全写好的存贮器来经纪下来

Kafka经纪商下来与完全写的存储空间,我已经尝试产生尽可能多的消息,因为经纪人可以处理。随着完全写的存储(8GB)经纪人都停止了,他们不能再次与这个......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.