kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

Windows使用者的Linux生产者无法解决

我正在Windows机器上运行Zookeeper,kafka服务器以及消费者客户端。当我在也运行Windows的另一台机器上使用python或c ++中的简单生成器程序时,所有内容...

回答 1 投票 0

无法从在docker中运行的Kafkacat连接到在Windows计算机上本地运行的Kafka代理

我正在Windows机器上本地运行kafka。我运行kafka的方式是使用。\ bin \ windows \ kafka-server-start.bat。\ config \ server.properties server.properties是:listeners = ...

回答 1 投票 0

消息代理中的分区如何解决订购问题?

我总的来说想到了分区的想法,但是我不知道它是如何真正解决排序问题的。以克里斯·理查森(Chris Richardson)的书为例,如果我有3个关于给定Order的事件,这些事件带有“ shard -...

回答 1 投票 0

要在BootStrap url中输入主机名:9092(我在主机文件窗口中有对应于实际URL的主机名条目)JAVA

想输入subham-virtualbox:9092而不是172.16.6.86:9092作为我的bootstrapURL和schemaRegistryurl。我的主机文件中有此条目,以供解决172.16.6.86 subham-virtualbox已尝试...

回答 1 投票 1

Kafka设计问题-Kafka Connect与自己的消费者/生产者

我需要了解何时使用Kafka connect与开发人员编写的自己的消费者/生产者。我们正在获得Confluent平台。为了实现容错设计,我们还必须运行使用者/ ...

回答 2 投票 0

Kafka流式传输-TimeoutException:即将到期的* TOPIC记录*自创建批处理以来已过去* ms

流应用程序在生产中推出,并且在10天后立即观察CustomProductionExceptionHandler中的错误/警告,该消息是属于较早日期窗口的过期事务的信息。 ...

回答 1 投票 0

JSON列为kafka生产者中的键

我们知道,我们可以发送带有kafka生产者的密钥,该密钥在内部进行散列,以查找主题数据中的哪个分区。我有一个生产者,我正在其中以JSON格式发送数据。 kafka -...

回答 1 投票 0

提取元数据卡夫卡时出错[test = LEADER_NOT_AVAILABLE}?

运行这些简单命令后出现错误-我启动了Zookeeper和Kafka服务器,执行了命令:./kafka-topics --create --zookeeper localhost:2181 --replication-factor ...

回答 2 投票 0

kafka +该服务器不是该主题分区+ kafka生产者的领导者

[我们从3台kafka机器中的每台机器的server.log中收到很多错误(集群中有3台kafka)[2019-12-05 13:25:09,529]错误[ReplicaFetcherThread-0-1],分区错误[jdty.dee.rules ....

回答 1 投票 0

ruby-kafka:是否可以同时发布到两个kafka实例

我正在研究的项目的当前流程涉及使用ruby-kafka gem将其推到本地kafka。现在需要增加远程kafka的生产者,并在其中复制消息。并且...

回答 1 投票 0

如何测量卡夫卡生产者每秒产生的消息数量?

我正在为我的大学项目学习Kafka,我想知道一种记录技术,以监视Kafka生产者每秒产生的消息数。感谢您的帮助。

回答 1 投票 0

Python KafkaProducer继续执行操作,因为无法在超时时间内完成挂起的请求,因此强制关闭生产器

在此报告问题。生产者将以下错误抛出。等了一个小时左右,错误消失了。但是当我遇到错误时,我可以使用Kafka工具列出主题,而Kafka ...

回答 1 投票 2

为灾难恢复服务器设置Kafka镜像时丢失消息

Producer.config key.serializer = org.apache.kafka.common.serialization.StringSerializer value.serializer = org.apache.kafka.common.serialization.StringSerializer max.in.flight.requests.per.connection = 1 .. 。

回答 1 投票 0

将单个Kafka主题上的消息分发给特定消费者

单个Kafka主题上的Avro编码消息,单个分区。这些消息中的每一个仅由特定使用者使用。例如,关于此主题的消息a1,a2,b1和c1,有...

回答 2 投票 0

Kafka主题中的丢失消息

[在ProducerRecord中尝试时间戳记;我发现了一些奇怪的东西。在从生产者发送少量消息之后,我运行了kafka-console-consumer.sh并验证了这些消息是否在主题中。我...

回答 1 投票 1

缺少Kafka Producer jmx指标

我们已经在OKD(支持Red Hat OpenShift的Kubernetes的Origin社区发行版)上部署了Spring Boot应用程序。在devops团队没有太多调整的情况下,我们陷入了普罗米修斯的刮擦之中。...

回答 1 投票 1

Kafka消费者从一开始就没有消费

我在本地计算机上安装了Kafka,并启动了zookeeper和一个代理服务器。现在,我有一个主题,其描述如下:〜/ Documents / backups / kafka_2.12-2.2.0 / data / ...

回答 3 投票 0

使用Flink将数据设置为Kafka吗?有可能

我有一个用例,需要将记录从配置单元移动到kafka。我找不到直接将kafka接收器添加到flink数据集的方法。因此,我使用了一种解决方法,将地图称为...

回答 1 投票 2

kafka +起始偏移量要比前一个偏移量高得多

[我们正在使用具有3个kafka节点的kafka集群,其kafka版本为0.10。从kafka日志中我们得到了一个非常奇怪的消息,因为以下开始偏移1432在...的结束偏移1298之后]]

回答 1 投票 0

连接到模式注册表时添加标题

我想从Java生产者应用程序连接到架构注册表时发送一些自定义请求标头。每次使用该应用程序连接到注册表时,我都想发送带有...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.