kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

禁用SLF4J登录apache Kafka

我在Apache Kafka上记录SLF4J时遇到问题。我想使用与Apache Kafka相关的Tomcats Servlet Container Catalina。我的Java应用程序必须从...集成到BPM流程中

回答 1 投票 2

Kafka消息丢失和Acks =全部

我知道如果Acks = all且min ISR设置为> = 2,则会减少消息丢失的可能性,因为多个代理在内存中有消息。当......同时发生故障时会发生什么

回答 1 投票 0

处理大量记录会产生OutOfMemoryException - Kafka REST代理

我正在使用汇合的REST API代理调用Kafka。我正在读取CSV文件,从那里的所有记录中创建一个对象(大约400万条记录)并向REST代理发送请求。我一直 ...

回答 2 投票 2

发送到kafka主题时序列化消息出错

我需要测试一个包含标题的消息,所以我需要使用MessageBuilder,但我无法序列化。我尝试在生产者道具上添加序列化设置,但它不起作用。能够 ...

回答 3 投票 2

org.apache.kafka.tools.ProducerPerformance Kafka的`--num-threads`选项的替代方案

Kafka从Kafka 2.0中删除了org.apache.kafka.tools.ProducerPerformance选项中的--num-threads选项。这是另一种解决方案吗?

回答 1 投票 0

在postgresql或其他代码行的引号内列出必要的引号?

这是一个两部分问题。我有一个列表,列表中有一个项目列表A = [“12345”]我想使用此列表中的项目来查找我的postgres。代码如下所示:cur.execute(“...

回答 2 投票 1

Kafka Consumer不断获取2天前每5分钟生成和消费的数据

我正在研究卡夫卡消费者,我注意到它正在消耗本应该在2天前消费的消息。它大约每5分钟重复这些消息,制作人不再......

回答 2 投票 1

Kafka消息按键分区

我们有一个业务流程/工作流,在收到初始事件消息时启动,并在处理最后一条消息时关闭。我们每天最多执行100,000个流程。我......

回答 2 投票 1

如何使用 log4j appender 为 kafka 编写应用程序日志?

我想使用 log4j kafka appender 将我的应用程序日志消息流式传输到 kafka。 我的应用程序正在使用 spring boot 和 log4j2。 我在主题中看到了启动日志消息,但没有看到日志语句...

回答 4 投票 0

使用kafka mirrormaker时出现大量延迟

我已经设置了一个MirrorMaker集群,该集群使用来自世界各地的集群的主题。问题是镜像集群(位于EU)和源集群(位于...中)之间的延迟

回答 2 投票 0

如何在Kafka ProducerPerformance工具中传递多个线程作为参数?

我想传递一些线程,这些线程将向Kafka经纪人发送消息作为ProducerPerformance工具的参数。

回答 2 投票 0

IllegalStateException:找不到连接1001 Kafka Kubernetes的条目

我正在尝试用K8s设置基本的Kafka。但是,每当我尝试从Kafka的数据生成应用程序连接到K8s中的Kafka服务时,我在Kafka日志中都会遇到此异常:...

回答 1 投票 2

将kafka-console-producer.sh运行到另一台服务器

我在我的centos服务器上安装了Apache Kafka。我只是想在另一台服务器上写一个主题的消息。所以在安装之后,我没有启动zookeeper或Kafka服务器,但是......

回答 3 投票 0

Kafka spring boot应用程序生产商无法用Kafka Sink Connector和Avro格式反映出来

我的目标是我有春天启动应用程序kafka生产者与Avro序列化属性,我除了推送到相应的主题,应该通过汇合Sink访问的消息...

回答 1 投票 0

在aws ec2中设置kafka

我在ec2实例上设置了kakfa。我已为该实例分配了弹性IP地址。我能够启动动物园管理员和卡夫卡并创建主题。我无法从本地连接到经纪人......

回答 1 投票 0

卡夫卡有重复的消息

在生成或使用数据时我没有看到任何失败,但是生产中存在大量重复消息。对于一个获得大约100k消息的小主题,有大约4k重复...

回答 1 投票 3

kafka集群与spring之间的事务传输消息

我有两个卡夫卡集群。我需要使用kafka-spring在它们之间实现一种同步。 [集群A,主题A] [集群B,主题B]我创建了监听器......

回答 1 投票 0

kafka producer api 0.8.2.1与1.0.1代理不兼容?

我正在使用版本为0.8.2.1的kafka生成器写入kafka broker,其版本为1.0.1 async。我的代码如下:KafkaProducer producer = new KafkaProducer(configs); ProducerRecord ......

回答 1 投票 0

没有输出到Kafka主题:Spark Structured Streaming和Kafka Integration

我正在尝试使用kafka sink将Apache Spark 2.3.1的流输出发送到Apache Kafka:import org.apache.spark.sql.SparkSession import org.apache.spark.sql.types.StructType import org.apache ....

回答 1 投票 0

使用Kafka Connect实时读取CSV文件

如何在Java中集成Kafka connect和Kafka producer,以便我可以实时读取CSV文件?我很难找到与此相关的任何来源。现在我正在使用scala-ide来......

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.