kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

在模式注册表中,消费者的模式可能与生产者的模式不同,实际上它意味着什么

在向Kafka生成AVRO数据时,Avro序列化程序在写入数据时使用的字节数组中编写相同的模式ID。 Kafka Consumer基于...从Schema Registry获取架构。

回答 1 投票 0

使用KafkaTransactionManager在事务KafkaTemplate中基于事件的提交

Spring管理的KafkaTemplate提供了template.send(record).addCallback(... template.executeInTransaction(...现在让我说我有一个方法doWork(),它在一个事件上触发(比如一个TCP / IP ...

回答 1 投票 0

使用KafkaPublish处理器写入kafka主题时无法发送SSL关闭消息

我正在使用KafkaPublish处理器将消息发布到使用SASL_SSL安全协议保护的kafka主题(我们不使用Kerberos)。我收到以下错误:WARN无法发送SSL关闭...

回答 1 投票 1

卡夫卡制片人挂起发送

逻辑是,从自定义源获取数据的流式传输作业必须同时写入Kafka和HDFS。我写了一个(非常)基本的Kafka制作人来做这个,但整个流媒体工作......

回答 1 投票 0

设置retention.ms时,Kafka没有删除数据

因此,当我寻找一种方法来计算主题中的消息时,这个是好的kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 - topic rev- dly-upd --time ...

回答 1 投票 1

Kafka Producer中的代理列表参数出错

我使用以下命令从Wurstmeister Kafka启动了一个docker容器:docker run -ti --name sender --entrypoint / bin / bash wurstmeister / kafka:latest然后我使用命令:docker exec -ti

回答 1 投票 0

在kafka控制台上无法输入大小超过4095个字符的消息

我试图通过kafka控制台生产者发送消息。但我无法输入超过4095个字符的消息。试图在生产者或服务器中搜索是否有与此相关的任何属性...

回答 1 投票 3

Java / Scala Kafka Producer不向主题发送消息

我在向Kafka主题发送序列化XML时遇到问题。每当我运行我的代码时,我都不会收到任何异常或错误消息,但仍然无法在Kafka主题中看到我的任何消息。 ...

回答 1 投票 0

有没有办法确保没有在kafka主题中插入重复记录?

我一直在尝试使用kafka实现排队机制,我希望确保不会在创建的主题中插入重复的记录。我发现消费者可以进行迭代。是......

回答 1 投票 1

如何在docker容器中连接本地kafka?

我在本地主机中有一个kafka服务器,我想在我的docker容器中连接它。我曾搜索过如何连接docker容器中的本地服务,我发现了这个:如何连接到本地-...

回答 2 投票 1

从Kafka读取数据并将其存储在dynamo db中

我需要从Kafka代理中的多个主题读取数据并将数据存储在Dynamo DB中。我可以继续使用任何参考代码或任何特定方法。我尝试使用https://github.com/shikhar/kafka -...

回答 1 投票 1

如何暂停/开始/停止Kafka Producer / Kafka模板

我正在使用带有kafka集成的spring boot应用程序,我想实现一个端点来停止和启动kafka发布消息。该消息由另一个端点以异步方式触发。 ...

回答 1 投票 1

Kafka Producer在放入不同的按键时减慢速度

我有一个代码,将数据发送到Kafka主题。 public void sendMessage(String message,String key){if(isAsync){//异步发送producer.send(new ProducerRecord)

回答 1 投票 0

通过TLS将Kafka生产者/消费者连接到经纪人

我正在尝试为kafka经纪人设置TLS。我已按照此处的步骤操作并能够使用TLS设置Kafka。 (在日志中,我看到配置端口的SSL条目)。现在我面临的问题是......

回答 1 投票 3

将多个行文本作为kafka主题中的一条消息推送

我想将包含多行的文本作为一条消息推送到kafka主题中。在我输入之后:kafka-console-producer --broker-list localhost:9092 - topic myTopic并复制我的文本:My Text ...

回答 3 投票 1

SalesForce的Kafka提供商的URL

我正在尝试确定SalesForce的URL,因为它与设置Kafka Provider有关。我正在使用需要到SalesForce的URL进行连接的Bayeux客户端:new KafkaOptions(new Uri(“”)); ...

回答 1 投票 0

java maven项目构建失败

我创建了一个java项目来将数据推送到kafka服务器。这个java maven项目没有错误。但是当我尝试maven-> install时,构建失败了。得到如下错误:无法...

回答 2 投票 2

当我不再希望在某个阈值之后接收数据时使用哪个Kafka生产者属性?

使用哪个Kafka生产者属性来实现以下目标?我正在使用UDP Kafka Bridge将消息从UDP端口发送到Kafka主题。如果Kafka制作人的内存超过某些......

回答 1 投票 2

Flink kafka - Flink作业不向不同的分区发送消息

我有以下配置:一个带有2个分区的kafka主题一个zookeeper实例一个kafka实例两个具有相同组ID的消费者Flink作业代码段:speStream.addSink(new ...

回答 2 投票 2

Kafka大消息配置

我读了很多关于配置的话题,但我仍然不明白。当我这样做:../ kafka_2.11-1.1.0/bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my_topic --config max.message.bytes = ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.