kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

KafkaConsumer poll()行为理解

[试图了解(对kafka来说是新的)kafka中的轮询事件循环如何工作。用例:关于该主题的25条记录,最大轮询大小设置为5。max.poll.interval.ms = 5 //默认情况下为秒,max.poll ....

回答 1 投票 0

即使生产者得到确认,在卡夫卡中也会发生消息丢失吗?

Kafka博士说:Kafka在很大程度上依赖于文件系统来存储和缓存消息。现代操作系统提供了预读和后写技术,这些技术可以以大容量预取数据...

回答 1 投票 3

是否可以在kafka中发布xml?

是否可以在kafka中发布xml?如果是,可以使用哪种方法来序列化要在kafka中发布的数据?

回答 1 投票 0

如何解决“无法更新XXX毫秒后的元数据”在弹簧卡夫卡在回调发送记录时

弹簧卡夫卡不能在回调发送记录ListenableFuture >未来= kafkaTemplate.send(主题,键,数据); future.addCallback(新...

回答 1 投票 0

异步调用不回调()的代码工作

不回调(工作异步调用),该程序等待的send()来完成,不立即执行下一行。在代码中,ProducerRecord 记录=新...

回答 1 投票 0

卡夫卡镜制造商将所有消息,而不分区键一起随机地目标群集在

我们使用的是卡夫卡镜制造商,以反映跨0.8.2.1集群主题为0.10.2.0集群。然而,对于某些话题,我们依靠循环分区分配(没有明确的...

回答 1 投票 2

在生产者/消费者客户绕道动物园管理员?

这是一个后续问题到一个较早的讨论。我认为,动物园管理员的作为卡夫卡经纪人,或“消息总线”的情况下,协调。我明白了为什么我们可能要生产者/消费者...

回答 2 投票 1

如何librdkafka生产者了解卡夫卡新主题分区

我跑rdkafka_simple_producer.c生成消息到卡夫卡集 群。我有一个主题,30个分区。使用默认循环分区。虽然制片人工作,...

回答 1 投票 1

卡夫卡生产者不接新分区

我是新来的卡夫卡,并正尝试建立一个服务来服务于IT消息platofrm。这里是我的设置:卡夫卡0.9.0.1Zookeeper 3.4.8kafka的Python 1.3.3我的应用程序从创建KafkaProducer ...

回答 1 投票 3

Python的卡夫卡消费者消费习惯生产的消息

所以我是相当新的卡夫卡。我试图运行一个简单的卡夫卡消费者和生产者。当我运行我的消费者之前在for循环你好正确打印。但迟迟没有打印在for循环,...

回答 1 投票 1

是否所有的卡夫卡经纪人IP地址有生产信息时需要指定

我有3饲养员3经纪人卡夫卡集群。我的问题是,如果我们不得不放弃只有一个producer-console.sh文件中的IP地址像下面/kafka-console-producer.sh --broker列表192.168.7.110:...

回答 1 投票 2

什么异常传播到客户端应用程序代码中的卡夫卡API

我使用卡夫卡的Java API V2.1。我想知道什么样的异常将从底层API被传播到客户端应用程序代码这是发送呼叫我产生回调代码:...

回答 1 投票 0

最新的 Kafka 中最初提供的 `queue.buffering.max.ms` 的正确配置是什么?

最新的 apache Kafka 文档 (https://kafka.apache.org/documentation) 声称“当事件进入队列时,它们会在队列中缓冲,直到达到 queue.time 或 batch.size。” 然而,...

回答 2 投票 0

Kafka DefaultPartitioner算法

Kafka org.apache.kafka.clients.producer.internals.DefaultPartitioner实现中有一个非常小但非常强大的细节,这让我很烦恼。正是这行代码:返回......

回答 3 投票 2

获取Kafka使用细节

我正在尝试找到获取我的kafka群集的当前使用情况统计信息的方法。我希望收集以下信息:kafka集群中的主题数每个kafka经纪人的分区数...

回答 1 投票 0

在制作主题时,Kafka Streams不会将偏移量增加1

我已经实现了一个简单的Kafka死信记录处理器。使用Console生产者生成的记录时,它非常有效。但是我发现我们的Kafka Streams应用程序没有......

回答 2 投票 4

如何使用java(spring)将json对象消息生成到kafka主题中?

我想在kafka主题中产生一条消息。该消息应具有以下模式:{“targetFileInfo”:{“path”:“2018-05-07-10 / row01-small-01.txt.ready”}}我知道这是一个json模式,所以怎么可能。 ..

回答 2 投票 1

Kafka - org.apache.kafka.common.errors.NetworkException

我有一个kafka客户端代码连接到Kafka(服务器0.10.1和客户端是0.10.2)代理。代码中有2个主题和2个不同的消费者组,还有一个生产者。得到......

回答 1 投票 5

删除__consumer_offsets来自Kafka的主题

我正在尝试删除Kafka主题__Consumer_offset,因为它给我的经纪人带来了很多困惑。当我这样做时,它说这个主题不能标记为删除。我正在使用zookeeper cli来......

回答 2 投票 -1

在kafka中为基于正则表达式的主题指定默认分区和复制因子

背景:我在kafka server.properties文件中设置了默认的分区数= 1和复制因子= 3,并启用了主题创建。 Kafka集群正在运行身份验证和...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.