用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。
我的节点应用程序使用kafka-node节点模块。我有一个带有三个分区的kafka主题,如下所示:主题:NotifierTemporarye3df:/ opPartitionCount:3in $ kafReplicationFactor:3ibe Configs:...
所以,我是Kafka的新手,并且已经阅读了一段时间。我发现有关融合的信息。 https://docs.confluent.io/current/streams/architecture.html所以我从中了解到...
我一直在尝试将数据从Kafka传递到Click House。因此,目前,我已经创建了一个运行kafka和clickhouse的docker容器。我已经创建了一些随机数据集...
当源集群和目标集群不在同一配置中时,Kafka Mirror Maker不复制主题
我们设置了Mirror Maker,以便在源和目标设置不同(源= 2个服务器,目标= 3个服务器)之间在两个kafka群集之间复制主题。当启动...
我正在尝试提出一种配置,该配置将根据生产者的平均字节率来强制执行生产者配额设置。我对3节点群集进行了测试。但是,该主题是使用1 ...
Kafka制作人-如何在不停机的情况下更改主题并保留消息顺序?
此问题与架构和kafka主题的迁移有关。原始问题:没有向后兼容性的架构演化。 https://docs.confluent.io/current/schema-registry/avro.html我是...
我刚刚开始学习 Kafka,我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来确定...
Kafka Persistence State-Store不能与python和java结合使用
今天,我在Google卡夫卡州立商店中发现了一件很奇怪的东西,但没有找到该行为的原因。考虑下面用Java编写的状态存储:private KeyValueStore
仅当在每个分区的副本上的写操作成功时,对Kafka主题的写操作才会成功吗?
仅当在每个分区的副本上的写入成功时,对Kafka主题的写入才成功吗?还是可以配置仲裁?假设您具有带有Topic1的Producer Server1 ...
我想查看主题级别的属性,例如“ message.timestamp.type”:“ LogAppendTime”,“ cleanup.policy”:“ compact”,是否可以查看在主题级别设置的所有属性?有...
当Kafka Producer不发送消息时如何保存在本地存储消息中?
我与Kakfa Producer有120个数据生产者,他们每秒发送一次消息,并且其中一些具有敏感数据(我是说,我们必须发送是或是),而且这些生产者有时可能会关闭或丢失...
我正在通过docker-compose用kafka启动一个容器。我的意思是,我可以成功登录这样的kafka容器,然后直接从那里产生和使用消息。我也可以看到...
我在虚拟机上安装了zookeeper和kafka docker容器。我的设置类似于zookeeper:图片:confluentinc / cp-zookeeper:最新名称:zookeeper ZOOKEEPER_CLIENT_PORT:2181 ...
我有一个生产者应用程序,可以将数据发送到Kafka主题,但是每当它从源接收时,就仅发送一次。我也有一个消费应用程序(Spark),它可以继续运行所有...
我们有一个Kafka使用者,正在完美地使用消息。但问题是,当Kafka使用者启动时,该使用者正在向Kafka Broker发送大量TCP数据包。我可以嗅那些...
找不到主题融合的kafka模式注册表错误代码“:40401,”消息
[我正在使用Kafka融合架构注册表docker映像,当我在本地对其进行测试时(在本地安装了kafka时,这可以按预期工作,但是当我尝试将其与远程Kafka群集一起使用时,我得到了一个...
在Kafka生产者日志中观察到以下警告消息。我有一个回调通知失败。但是没有看到失败日志。这是WARN会导致主题失败的消息吗? 2020-02-17 10:23:...
我有一个应用程序代码,可为Kafka主题产生事件。所以现在我需要为此编写集成测试。在互联网上搜索后,我对集成测试的定义感到困惑,因为它的定义是...
我能够使用KafkaAdminClient列出所有Kafka Consumer:AdminClient client = AdminClient.create(conf); KafkaFuture >名称= ltr.names(); ArrayList