apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

如果在处理过程中抛出异常,Kafka-streams 是否会提交偏移量?

我有一个 Kafka 流应用程序,我创建了自定义生产/消费/未捕获的异常处理程序,所有处理程序都返回 CONTINUE 以继续处理,尽管出现异常。 Kafka 流通讯吗...

回答 2 投票 0

如何通过 docker-compose 运行纯 Kafka 和 Kafka Connect?

我正在编写我的第一个基于 Kafka 的项目,并遇到一些集成问题。卡夫卡和卡夫卡连接。这是我的 docker-compose.yaml 版本:'3.3' 服务: 数据库: 图片:'postg...

回答 1 投票 0

Kafka Broker 身份验证失败 - 凭据无效

在最后一天左右的时间里,我尝试使用融合的 docker 镜像在本地设置一个节点的 Kafka 集群。不幸的是,一直未能做到这一点。以下是我的所有配置文件: /etc/卡夫卡/

回答 2 投票 0

使用 ssl 访问 kafka 代理时出错

连接到kafka代理时出现错误,汇合控制台日志显示此错误。 [2018-03-22 11:46:03,545] 警告无法发送 SSL 关闭消息(org.apache.kafka.common.network。

回答 2 投票 0

Kafka + 使用 prometheus 与 kafka cli 命令有冲突

我们使用 Prometheus 一段时间并且非常享受它。 关于什么是 jmx-exporter 的几句话 jmx-exporter 是一个从基于 JVM 的应用程序(例如 Java 和 Scala)读取 JMX 数据的程序...

回答 5 投票 0

从 kafka 连接 API 获取任务 ID 以在日志中打印

我有一个kafka连接接收器代码,下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID,请告诉我。例如在

回答 2 投票 0

Kafka 连接消息排序

Kafka Sink 连接器如何在从分区获取消息时确保消息排序。我有多个分区,并且在使用 has...发布消息时确保了消息排序。

回答 2 投票 0

FastAPI 中的 Kafka 消费者 -> 不同的服务,不同的消费者,相同的生产者

我已经解决了这些问题和其他一些问题,但不幸的是,即使在阅读链接的文档后,我也无法找到适合我的具体案例的答案。因此,我相信这个问题...

回答 1 投票 0

org.apache.kafka.common.errors.UnsupportedVersionException

尝试将已运行的应用程序的 Flink 版本从 1.14.2 升级到 1.17.1。该应用程序具有与 Kafka 一样的源和接收器(不同主题同一集群)。升级版本后

回答 1 投票 0

原因:org.messaging.handler.annotation.support.MethodArgumentNotValidException:无法解析 public void 中索引 1 处的方法参数

我正在开发 Kafka Consumer App,在手动尝试确认和确认时出现以下错误。可能是什么原因导致了这个问题? 错误详情: org.springframework.kafka.listener.

回答 1 投票 0

kcat 连接到 Kafka 集群设置,无需身份验证

我正在尝试列出未进行身份验证设置的 Kafka 集群上的主题。我正在使用命令行,其中 b1 和 b2 是代理名称。 kcat -b b1:9094,b2:9094 -F kc.properties -L 我的kc。

回答 1 投票 0

在 Spring Kafka 中为批量监听器实现自定义错误处理程序

我将向我的容器工厂添加自定义错误处理程序 这是我的要求: 我有一个批处理侦听器,即使某个特定记录由于

回答 1 投票 0

如何使用kafka-php编程库创建主题?

我想用kafka-php编程库创建一个主题。 https://github.com/weiboad/kafka-php 我能怎么做? 如果kafka服务器中不存在主题,则执行此代码将不起作用。不是这样的

回答 2 投票 0

将 CDC Azure 数据库 MySQL 创建到 Apache Kafka 时出错

大家好,我想问一些关于 CDC mysql 到 kafka 以及 azure mysql 数据库的问题。我已经关注了本教程: https://techcommunity.microsoft.com/t5/azure-database-for-mysql-blog/...

回答 1 投票 0

使用 Kafka Signal 的 Debezium SQL Server 源连接器的临时快照不起作用

我已关注 https://debezium.io/documentation/reference/2.4/configuration/signalling.html#debezium-signaling-enabling-kafka-signaling-channel 上的文档 但是当我注册来源时

回答 1 投票 0

Kafka Engine 从 Clickhouse 物化视图生成消息到 Kafka 主题,写入 key=null 的消息

我正在使用 Kafka Engine 将数据从 ClickHouse 接收到 Kafka 主题。它将记录发送到 Kafka,key=null。 如何使用 Kafka 表引擎为 KafkaRecord 定义键? 我创建了下一个具体化...

回答 1 投票 0

从配置kafkalistener中读取

我有一个 Spring Boot 应用程序,其侦听器如下: @KafkaListener(id = "演示", 主题 = "演示", containerFactory =“重试KafkaListenerContainerFactory”) 公共空间

回答 2 投票 0

ClassNotFoundException。不同 Scala 版本有问题吗?

当我尝试运行这个.py时: 导入日志记录 从 cassandra.cluster 导入集群 从 pyspark.sql 导入 SparkSession 从 pyspark.sql.functions 导入 from_json, col 从 pyspark.sql.types 导入

回答 1 投票 0

Kafka Connect 堆空间不足

启动 Kafka Connect(独立连接)后,我的任务在启动后立即失败: java.lang.OutOfMemoryError:Java堆空间 在 java.nio.HeapByteBuffer.(HeapByteBu...

回答 6 投票 0

从单代理、单主题中的特定分区进行消费

我正在使用具有单个代理和单个主题(3 个分区)的 Kafka 设置。我希望特定的使用者实例仅读取来自本主题内指定分区的消息。 铜...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.