kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

加密的kafka消息似乎总是去同一个分区

我的节点应用程序使用kafka-node节点模块。我有一个带有三个分区的kafka主题,如下所示:主题:NotifierTemporarye3df:/ opPartitionCount:3in $ kafReplicationFactor:3ibe Configs:...

回答 2 投票 1

在控制台模式下运行时,Kafka的并行性概念是否适用?

所以,我是Kafka的新手,并且已经阅读了一段时间。我发现有关融合的信息。 https://docs.confluent.io/current/streams/architecture.html所以我从中了解到...

回答 1 投票 0

将数据从Kafka发送到Clickhouse

我一直在尝试将数据从Kafka传递到Click House。因此,目前,我已经创建了一个运行kafka和clickhouse的docker容器。我已经创建了一些随机数据集...

回答 1 投票 0

当源集群和目标集群不在同一配置中时,Kafka Mirror Maker不复制主题

我们设置了Mirror Maker,以便在源和目标设置不同(源= 2个服务器,目标= 3个服务器)之间在两个kafka群集之间复制主题。当启动...

回答 1 投票 0

Kafka生产者配额和超时例外

我正在尝试提出一种配置,该配置将根据生产者的平均字节率来强制执行生产者配额设置。我对3节点群集进行了测试。但是,该主题是使用1 ...

回答 1 投票 0

Kafka制作人-如何在不停机的情况下更改主题并保留消息顺序?

此问题与架构和kafka主题的迁移有关。原始问题:没有向后兼容性的架构演化。 https://docs.confluent.io/current/schema-registry/avro.html我是...

回答 1 投票 2

从 Rest API 发送数据到 kafka

我刚刚开始学习 Kafka,我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来确定...

回答 2 投票 0

Kafka Persistence State-Store不能与python和java结合使用

今天,我在Google卡夫卡州立商店中发现了一件很奇怪的东西,但没有找到该行为的原因。考虑下面用Java编写的状态存储:private KeyValueStore

回答 1 投票 1

仅当在每个分区的副本上的写操作成功时,对Kafka主题的写操作才会成功吗?

仅当在每个分区的副本上的写入成功时,对Kafka主题的写入才成功吗?还是可以配置仲裁?假设您具有带有Topic1的Producer Server1 ...

回答 2 投票 0

如何在Apache Kafka中查看主题属性

我想查看主题级别的属性,例如“ message.timestamp.type”:“ LogAppendTime”,“ cleanup.policy”:“ compact”,是否可以查看在主题级别设置的所有属性?有...

回答 2 投票 0

当Kafka Producer不发送消息时如何保存在本地存储消息中?

我与Kakfa Producer有120个数据生产者,他们每秒发送一次消息,并且其中一些具有敏感数据(我是说,我们必须发送是或是),而且这些生产者有时可能会关闭或丢失...

回答 2 投票 0

console-producer连接到节点kafka1:9092(org.apache.kafka.clients.NetworkClient)java.net.UnknownHostException

我正在通过docker-compose用kafka启动一个容器。我的意思是,我可以成功登录这样的kafka容器,然后直接从那里产生和使用消息。我也可以看到...

回答 1 投票 0

无法建立到节点-1的连接

我在虚拟机上安装了zookeeper和kafka docker容器。我的设置类似于zookeeper:图片:confluentinc / cp-zookeeper:最新名称:zookeeper ZOOKEEPER_CLIENT_PORT:2181 ...

回答 2 投票 1

接收数据时触发Kafka使用者

我有一个生产者应用程序,可以将数据发送到Kafka主题,但是每当它从源接收时,就仅发送一次。我也有一个消费应用程序(Spark),它可以继续运行所有...

回答 1 投票 0

Kafka使用者不断将TCP数据包发送到Kafka服务器

我们有一个Kafka使用者,正在完美地使用消息。但问题是,当Kafka使用者启动时,该使用者正在向Kafka Broker发送大量TCP数据包。我可以嗅那些...

回答 1 投票 0

找不到主题融合的kafka模式注册表错误代码“:40401,”消息

[我正在使用Kafka融合架构注册表docker映像,当我在本地对其进行测试时(在本地安装了kafka时,这可以按预期工作,但是当我尝试将其与远程Kafka群集一起使用时,我得到了一个...

回答 1 投票 0

Kafka制片人WARN

在Kafka生产者日志中观察到以下警告消息。我有一个回调通知失败。但是没有看到失败日志。这是WARN会导致主题失败的消息吗? 2020-02-17 10:23:...

回答 1 投票 0

Kafka Producer集成测试定义

我有一个应用程序代码,可为Kafka主题产生事件。所以现在我需要为此编写集成测试。在互联网上搜索后,我对集成测试的定义感到困惑,因为它的定义是...

回答 1 投票 0


如何列出kafka集群的所有生产者?

我能够使用KafkaAdminClient列出所有Kafka Consumer:AdminClient client = AdminClient.create(conf); KafkaFuture >名称= ltr.names(); ArrayList

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.