kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

生产者度量标准:record_error_rate,何时该值大于零

我正在检查和验证生产者和消费者的指标。但是在我的所有实验中,指标record_error_rate似乎始终为零。如果某人有任何想法,什么时候会为非零...

回答 1 投票 0

客户端健康检查:如果经纪人已关闭,请检查消费者/生产者

我需要执行运行状况检查,并且其中一部分是确定生产者是否能够发布消息,而消费者是否能够向消费者消息,为此,我必须检查...

回答 1 投票 0

获取相关 ID 为 92 的元数据时出错:{myTest=UNKNOWN_TOPIC_OR_PARTITION}

我创建了一个示例应用程序来检查我的生产者的代码。当我在没有分区键的情况下发送数据时,我的应用程序运行良好。但是,在指定数据分区的键时,我开始......

回答 5 投票 0

如何使用Python在Kafka中生成Tombstone Avro记录?

我的接收器属性:{“名称”:“ jdbc-oracle”,“ config”:{“ connector.class”:“ io.confluent.connect.jdbc.JdbcSinkConnector”,“ tasks.max”:“ 1”, “ topics”:“ orders”,“ connection.url”:...

回答 2 投票 1

是否应该在Kafka群集中的所有代理节点之间复制主题分区?

尽管有类似上述问题的答案。我的好奇心在于,假设n1-5个节点位于群集中,其中主题t1位于n1,n2和n3上,主题t2位于n3,n4,n5上。现在,如果...

回答 2 投票 2

如何在Kafka中制作墓碑Avro记录?

我的接收器属性:{“名称”:“ jdbc-oracle”,“ config”:{“ connector.class”:“ io.confluent.connect.jdbc.JdbcSinkConnector”,“ tasks.max”:“ 1”, “ topics”:“ orders”,“ connection.url”:...

回答 2 投票 1

[未删除针对相同密钥的Kafka日志压缩主题重复值

日志压缩主题不应针对同一密钥保留重复项。但是在我们的情况下,当发送具有相同键的新值时,不会删除前一个值。可能是什么问题? ...

回答 1 投票 1

使用SpringBoot测试springboog kafka @sendTo

我正在使用@SendTo(“ example”)批注将消息发送到某个主题,但我不知道如何对其进行测试。我打开一个控制台生产者bin / kafka-console-producer.sh --broker-list localhost:9092 --topic ...

回答 2 投票 1

kafka生产者的多个实例

我知道可以启动生产者应用程序的多个实例来为一个主题产生数据。为此需要进行哪些配置更改?我需要其他的client_id吗?没有任何...

回答 1 投票 1

比kafka中的消费者分区少,如何优化该消费者组的其他消费者

让我们假设我有四个分区,一个消费者组有二十个消费者。因此,只有四个消费者将工作,而有十六个消费者将处于饥饿状态。如何优化...

回答 1 投票 0

如何使用AvroProducer向主题添加数据

我有一个具有以下架构的主题。有人可以帮我解决如何将数据添加到不同的字段。 {“ name”:“ Project”,“ type”:“ record”,“ namespace”:“ abcdefg”,“ fields”:[...

回答 1 投票 0

即使经纪人都忙了,Kafka首选领导者也会得到更新吗?

我正在尝试提供一种kafka监视服务,该服务需要在集群中的每个代理上至少具有一个主题的分区。我最初分配了分区。我已经设置了复制...

回答 1 投票 0

Kafka Producer将生产者消息限制为1024字节

我正在尝试使用终端生成kafka消息。我下载了此版本kafka_2.12-2.4.1.tgz。我尝试启动Zookeeper服务器,然后再启动Kafka服务器。我有一个json,它是...

回答 1 投票 1

Kafka处理器api中Header的用户是什么?

我正在学习Kafka处理器API,并在ProcessorContext中找到一个方法标头。 headers()返回当前输入记录的标题;如果不可用,则可以为null。有什么用...

回答 1 投票 0

Kafka消费者的第一次调查未检索到主题消息。有什么问题吗?

我有一个简单的Kafka 2.4.1(Confluent 5.4.1)安装程序在Docker中本地运行。而且我使用用Java编写的测试生产者和测试使用者。该代码在GitHub中可用。单元测试可以:a ...

回答 1 投票 0

client.dns.lookup选项中的“ use_all_dns_ips”和“ resolve_canonical_bootstrap_servers_only”之间的确切区别是什么?

在kafka-client 2.1.0中,client.dns.lookup可用。以下是每个选项的说明。当查询返回一个主机名的多个IP地址时,use_all_dns_ips都将尝试使用它们...

回答 1 投票 0

是否可以将网络套接字消息发送到kafka主题?

[我正在尝试寻找一种方法来使用由websocket发送到kafka主题的消息(消息由websocket发送到地址'ws:// address:port / topic_name',我想添加。 ..

回答 1 投票 0

如果ISR小于复制因子,并且所有生产者ACK被设置,生产者将等待多少个ACK?

RF = 3,ISR = 3,acks =全部>>>发送成功RF = 3,ISR = 2,acks = all >>>发送成功RF = 3,ISR = 1,acks = all >>>发送成功RF = 3,ISR = 1,acks = all,最小isr ....

回答 1 投票 0

Kafka Producer应该重试3次,以防失败

我想在出现任何故障的情况下执行卡夫卡生产者重试逻辑三遍,而且我想手动测试生产者是否在重试。你能建议我,如何手动测试...

回答 1 投票 1

使用jpa和kafka的示例Spring事务?

在将Spring Boot从2.1.11版本升级到2.2.5之后,kafka客户端会在提交jpa事务之前向代理生成消息。不使用链接的卡夫卡...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.