kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

RD_KAFKA_PARTITION_UA在librdkafka中如何工作?

我在php中有一个生产者,它可以发布到队列中。我使用了下面的库:https:/github.comarnaud-lbphp-rdkafka下面是代码。$conf->set('log_level', ...

回答 1 投票 2

如何将生产的数据存储在数据库中?

我在java上创建了一个kafka producer,工作正常,现在我想把产生的数据存储在mySQL数据库中,但我不知道怎么做。我试过这段代码,但它不工作 try { String ...

回答 1 投票 -1

Kafka-Python中的CSV数据流

使用Kafka-Python将CSV数据发送到Kafka主题。消费者成功发送和接收数据。现在,我试图连续流式传输一个csv文件,添加到该文件的任何新条目都应...

回答 1 投票 0

Kafka:与多个使用者的sendOffsetsToTransaction

对于Kafka项目,我使用消费/加工/生产模型,但有两个消费者。所以我想知道,是否有可能对具有唯一生产者的两个使用者使用sendOffsetsToTransaction()函数?...

回答 1 投票 0

我们可以将不同部分的数据放在kafa的同一主题上吗?

设置一个要在其上添加kafka侦听器的网络套接字,我们基本上有100个主题,而同一主题的13个不同部分,例如,“ BOOKX”是一个主题,其中13个章节是……

回答 1 投票 0

如何使用Python从不同的服务器连接Kakfa Consumer

我无法从Kafka服务器接收到我的使用者服务器的任何数据。使用kafka-python lib将Kafka Server托管在192.168.1.1中,将consumer托管在192.168.1.2中。以下是我的示例...

回答 1 投票 0

活性卡夫卡生产商

我正在探索反应式卡夫卡,只是想确认反应式卡夫卡是否等同于同步生产者。使用同步生产者,我们将获得所有ACK的消息传递保证,并且生产者序列为...

回答 1 投票 0

Kafka Java Producer API无法将密钥序列化为Long或Int

这是在Kafka中产生数据的Java代码:import org.apache.kafka.clients.producer。*;导入org.apache.kafka.common.serialization.LongSerializer;导入org.apache.kafka.common ....

回答 1 投票 0

向kafka发送的消息,但消费者未收到其中的一些消息

有4个引导服务器,我正在使用下面的代码producer.send(new ProducerRecord <>(topic,partitionNumber,key,message,headers,(metadata,exception)-> ...

回答 1 投票 0

在Confluent kafka中,在.Net的Message Producer中传递对象

我正在使用.net core 3.1,并通过Confluent.Kafka使用融合的kafka lib;我正在实施kafka系统,同时创建生产者和消费者。我知道我可以轻松地做某事...

回答 1 投票 0

Apache Kafka-没有密钥的消息

[通过kafka definitve指南时,我碰到这个短语。当键为null且使用默认分区程序时,记录将发送到...的可用分区之一]]

回答 2 投票 3

为什么kafka生产者(性能测试)具有如此低的吞吐量/高延迟?

我是kafka的新手,正在运行一些性能测试。我正在运行一个由两台计算机组成的集群,其中包括我的笔记本电脑和一个覆盆子pi零W(1 GHz,单核CPU,512 MB RAM,802.11n无线局域网)。 ...

回答 1 投票 1

如何使用python在kafka使用者中聚合json数据?

我在KAFKA Transactions中产生的数据如下所示:ConsumerRecord(topic ='Transactions',partition = 0,offset = 3,timestamp = 1591277946735,timestamp_type = 0,key = None,value = {'transaction_id':. ..

回答 1 投票 0

从数据库中获取大数据集并将其发送到Kafka

我有2个表,可以说Emp和Courses表。 Emp有3万行,课程有10万行。 1名员工可以有很多课程,即一对多关系。我需要从表中获取记录,然后...

回答 2 投票 0

将writeStream放电到kafka-awaitTermination()与awaitAnyTermination()之间的差异

根据官方文档,我使用下面的代码段来编写kafka主题,但未将其写入kafka。 finalStream = final \ .writeStream \ .format(“ kafka”)\ .option(“ ...

回答 1 投票 0

如何在Python中产生JSON格式的Kafka消息

如何删除引号并像原始格式一样发送数据原始JSON格式为:{“ @timestamp”:“ 2020-06-02T09:38:03.183186Z”}此数据在另一个主题“ {\” @ timestamp中\“:\” 2020-05 -...

回答 1 投票 0

设计:将重复的状态发送到Kafka主题中

我正在做一个副项目,在该项目中,我将运输数据提取到kafka集群中。数据来自我市的公共API。例如:城市中的每条道路都在工作。我正在抓取道路工程...

回答 1 投票 0

设计:在主题中发送重复状态

我正在做一个副项目,在该项目中,我将运输数据提取到kafka集群中。数据来自我市的公共API。例如:城市中的每条道路都在工作。我正在抓取道路工程...

回答 1 投票 0

垃圾值作为kafka主题中的键发布

我正在使用Long序列化程序作为键,并使用String序列化程序作为value,在我们检索消息时将消息发布到kafka主题后,连同键一起将键看作是一些垃圾...

回答 1 投票 0

如何通过kafka控制台生产者发送密钥,价值消息

我有一个用例,需要用Kafka Console Producer发送键值消息。那么如何通过Kafka Console Producer命令实现这一目标?

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.