用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。
生产者度量标准:record_error_rate,何时该值大于零
我正在检查和验证生产者和消费者的指标。但是在我的所有实验中,指标record_error_rate似乎始终为零。如果某人有任何想法,什么时候会为非零...
我需要执行运行状况检查,并且其中一部分是确定生产者是否能够发布消息,而消费者是否能够向消费者消息,为此,我必须检查...
获取相关 ID 为 92 的元数据时出错:{myTest=UNKNOWN_TOPIC_OR_PARTITION}
我创建了一个示例应用程序来检查我的生产者的代码。当我在没有分区键的情况下发送数据时,我的应用程序运行良好。但是,在指定数据分区的键时,我开始......
如何使用Python在Kafka中生成Tombstone Avro记录?
我的接收器属性:{“名称”:“ jdbc-oracle”,“ config”:{“ connector.class”:“ io.confluent.connect.jdbc.JdbcSinkConnector”,“ tasks.max”:“ 1”, “ topics”:“ orders”,“ connection.url”:...
尽管有类似上述问题的答案。我的好奇心在于,假设n1-5个节点位于群集中,其中主题t1位于n1,n2和n3上,主题t2位于n3,n4,n5上。现在,如果...
我的接收器属性:{“名称”:“ jdbc-oracle”,“ config”:{“ connector.class”:“ io.confluent.connect.jdbc.JdbcSinkConnector”,“ tasks.max”:“ 1”, “ topics”:“ orders”,“ connection.url”:...
日志压缩主题不应针对同一密钥保留重复项。但是在我们的情况下,当发送具有相同键的新值时,不会删除前一个值。可能是什么问题? ...
使用SpringBoot测试springboog kafka @sendTo
我正在使用@SendTo(“ example”)批注将消息发送到某个主题,但我不知道如何对其进行测试。我打开一个控制台生产者bin / kafka-console-producer.sh --broker-list localhost:9092 --topic ...
我知道可以启动生产者应用程序的多个实例来为一个主题产生数据。为此需要进行哪些配置更改?我需要其他的client_id吗?没有任何...
比kafka中的消费者分区少,如何优化该消费者组的其他消费者
让我们假设我有四个分区,一个消费者组有二十个消费者。因此,只有四个消费者将工作,而有十六个消费者将处于饥饿状态。如何优化...
我有一个具有以下架构的主题。有人可以帮我解决如何将数据添加到不同的字段。 {“ name”:“ Project”,“ type”:“ record”,“ namespace”:“ abcdefg”,“ fields”:[...
我正在尝试提供一种kafka监视服务,该服务需要在集群中的每个代理上至少具有一个主题的分区。我最初分配了分区。我已经设置了复制...
我正在尝试使用终端生成kafka消息。我下载了此版本kafka_2.12-2.4.1.tgz。我尝试启动Zookeeper服务器,然后再启动Kafka服务器。我有一个json,它是...
我正在学习Kafka处理器API,并在ProcessorContext中找到一个方法标头。 headers()返回当前输入记录的标题;如果不可用,则可以为null。有什么用...
Kafka消费者的第一次调查未检索到主题消息。有什么问题吗?
我有一个简单的Kafka 2.4.1(Confluent 5.4.1)安装程序在Docker中本地运行。而且我使用用Java编写的测试生产者和测试使用者。该代码在GitHub中可用。单元测试可以:a ...
client.dns.lookup选项中的“ use_all_dns_ips”和“ resolve_canonical_bootstrap_servers_only”之间的确切区别是什么?
在kafka-client 2.1.0中,client.dns.lookup可用。以下是每个选项的说明。当查询返回一个主机名的多个IP地址时,use_all_dns_ips都将尝试使用它们...
[我正在尝试寻找一种方法来使用由websocket发送到kafka主题的消息(消息由websocket发送到地址'ws:// address:port / topic_name',我想添加。 ..
如果ISR小于复制因子,并且所有生产者ACK被设置,生产者将等待多少个ACK?
RF = 3,ISR = 3,acks =全部>>>发送成功RF = 3,ISR = 2,acks = all >>>发送成功RF = 3,ISR = 1,acks = all >>>发送成功RF = 3,ISR = 1,acks = all,最小isr ....
我想在出现任何故障的情况下执行卡夫卡生产者重试逻辑三遍,而且我想手动测试生产者是否在重试。你能建议我,如何手动测试...
在将Spring Boot从2.1.11版本升级到2.2.5之后,kafka客户端会在提交jpa事务之前向代理生成消息。不使用链接的卡夫卡...