Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
我正在尝试创建一个自定义加入消费者来加入多个事件。 我创建了一个拓扑,它有四个子拓扑(subtopology-0、subtopology-1、subtopology-2、subtopology-3),不在
我有 kafka 和 KRAFT,我希望我的用户(在 python 中)只能访问专门为他们创建的特定主题。 请任何建议,我完全不明白如何制作。我可以
我对kafka很陌生,我有一个init函数来设置生产者、消费者并订阅我拥有的所有主题。目前,我们的每个 Express 端点(res、req)有 20 个主题。它
从kafka读取数据并写入hadoop/hbase/hive/spark堆栈批量处理
我有一个技术堆栈,其中 Hadoop 作为原始数据的分布式存储,HBase 作为在 Hadoop 和 HDFS 之上运行的 NoSQL 数据库,Hive 作为 Hive 之上的 RDBMS 数据仓库,用于应用程序...
我们使用 Quarkus 来消费来自 Kafka 的事件,执行一些丰富操作,并使用自定义连接器通过 HTTP 将它们推送到内部系统。 我们需要验证丰富的事件是否...
是否可以创建到Openshift中部署的Kafka服务器的Openshift路由,以便使用Kafka工具从本地计算机连接Kafka? 有一个 Pod(Kafka、Zookeeper), 服务(
Zookeeper f-sync 问题导致 Kafka 超时
我们正在尝试在具有 16 核和 16 GB RAM 的 VM 上为 Zookeeper 和 Kafka 进行单节点安装。 Zookeeper 显示 f-sync 问题,并且在设置的 6000 毫秒超时期限之后 kafka gi...
消费者中的@KafkaHandler不会将主题消息作为对象类消费,而仅作为字符串消费
我有一个简单的 Java Spring Boot 应用程序,它应该将来自 Kafka 的主题消息作为对象类使用,但它只能作为字符串调用。仅调用了handleDefault..为什么? @
我有一个主题“oranges”,有 10 个分区,1 个消费者组内有 2 个消费者。我正在使用 Spring Kafka。 由于某些原因,我需要时不时地重新读取数据,我需要重置
当我使用 Apache Kafka 重新启动应用程序时,我想再次使用相同的消息,但这需要几乎 1 分钟
我有一个控制台应用程序(消费者)。当我重新运行我的应用程序时,我想再次使用相同的消息。我已经设置:EnableAutoCommit = false 但每次我重新运行我的应用程序时......
Spark消费者使用docker运行时找不到kafka主题分区
当我提交连接到 kafka 代理的 Spark 应用程序时,它会执行 kafka 查询,但不会将任何内容返回到控制台。找不到主题分区。 这是我的日志
Spring Cloud Kafka Binder 设置指定消费者组的自动偏移重置不会更改默认值
我正在尝试从最新的可用偏移量中读取(没有为消费者组提交偏移量),所以我在属性中指定 spring.cloud.stream.bindings.process-in-0.group=测试组 spring.cloud.stream.
在一个 Spring Boot 应用程序中使用多个不同的 kafka 服务器的方法是什么?
我有一个 Spring Boot 应用程序,与 kafka 一起使用(假设 kafka#1) 现在我有一个案例,当我需要连接到外部服务(kafka#2)的 kafka 服务器以及明天另一个外部服务的
我尝试了以下方法,但它不起作用,尽管理论上,根据 acl 工具提示它应该起作用。 kafka-acls --bootstrap-server 服务器:9094 --command-config client-sasl.properties --r...
Spark 流 + kafka 集成,每 15 分钟从 kafka 读取一次数据,并使用 PySpark 存储最后读取的偏移量
使用PySpark,实现了Spark Streaming + Kafka集成。每次运行都会给出从 0 开始的偏移量。 需要解决2个问题: 最后 15 分钟的阅读流 从每个
我正在使用 Mirror Maker 2.0 将数据从一个集群复制到另一个集群。我已经完成了设置,并且在几个主题上运行良好。 当我们尝试增加...时,我遇到了问题...
从 Quarkus 中的 ConfigProperty 传递常量值
我需要在我的kafka主题前面传递一个前缀,因为我们在所有环境中使用相同的kafka。在 SpringBoot 中,它非常简单,如下所示: 本地楼层酒吧 hmlg_foo_bar 产品_foo_bar 在
监听 KafkaAvro 格式事件时 KafkaListener 出现 CompletionException 错误
我在使用 KafkaListener 侦听来自 Azure EventHub 的 Avro 格式事件时收到此 CompletionError。错误日志: java.util.concurrent.CompletionException: java.lang.NoClassDefFoundError...
DebeziumException“连接器之前在拍摄快照时停止,但现在连接器配置为绝不允许快照”
我正在分布式模式下使用debezium将mssql db的cdc事件推送到kafka主题。 命令:%KAFKA_HOME% in\window
需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS,但不使用 Confluence 库(如果不是完全免费的话)
我想使用 Kafka Connect 将 JSON 消息从 Kafka 移动到 HDFS,然后移动到 Impala,仅使用开源库。 我试图了解是否可以使用 Kafka Conn 的 Confluence Sink 库......