confluent-kafka-python 相关问题


Python KafkaTimeoutError:等待未来超时

我正在使用 Kafka 将日志发送到主题。发送消息时,我总是收到此错误 消息:“测试日志” 参数:() --- 记录错误 --- 回溯(最近一次调用最后一次): 文件“...


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期

我正在使用 Spring kafka 实现,我需要通过 REST API 启动和停止我的 kafka 消费者。为此,我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。


Kafka Java Consumer Client 是单线程的吗

我们正在开始使用 Kafka, 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...


使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢!


Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前,输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......


即使部署在 kubernetes pod 上,kafka 主题仍然是不可变的吗?

我在 kubernetes pod 上部署了 kafka 主题和模式注册表,我尝试修改/更改 kafka 主题和模式注册表的清单文件,然后模式注册表的行为在


使用 kafka-go 和循环平衡器时,数据始终进入分区 0

我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器,但数据始终进入分区 0。我尝试忽略所有消息的分区字段,但是...


从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新


依赖更新后构建kafka生产者失败

在我的 SpringBoot Java 项目中,我使用的是 kafka,特别是 ReactiveKafka。我正在更新依赖项,特别是这些依赖项: springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-


Kafka UI 无法连接到 Broker

我是容器化新手。我正在尝试设置我的本地环境,我的 java 应用程序想要连接到 Kafka。无法使用 Docker,所以决定使用 Podman。我有三个容器在同一个上运行


Spring Boot 3.1.X及以上版本的Kafka客户端连接问题

我最近将我的一项 Spring Boot 服务升级到 3.1.x,升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...


有没有办法将AWS Cloudwatch日志输入Kafka主题

我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布,其中...


Kafka:如何使用 Java API 从主题中删除记录?

我正在寻找一种从 Kafka 主题中删除(完全删除)已使用记录的方法。我知道有几种方法可以做到这一点,通过更改主题的保留时间或删除...


Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗


具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端

我目前正在使用一个Java Kafka消费者,它手动提交偏移量(enable.auto.commit = false),我发现即使我生成了多个实例,我发现这样的设置也是如此


如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息?

我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息,消费完之后,ActiveMQ会自动删除消费的消息。仅未消耗


在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡


Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了

我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时,我看到以下内容


debezium 日期/时间字段值超出范围:0000-12-30T00:00:00Z

我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at,当值为0时start_at='0001-01-01 00:00:00.000000 +00:00',但是当我们检查kafka中的数据时,它是


Groovy 抛出 可能的解决方案:解析 LinkedHashMap 时出现 parseText(java.lang.String) 错误

我正在尝试检查kafka输出消息中是否存在该密钥,如果存在则进行进一步的操作。 卡夫卡主题的输出消息如下 [“随机名称_547hcg”:{ “访问_...


如何删除AWS MSK集群中的kafka状态存储

我有一个使用 AWS 上的 MSK 集群的 kafkaStreams 应用程序。 我需要清理状态存储(在我的应用程序中使用一些 KTable 后创建)。 我找不到任何方法来访问文件系统......


自消息发布或 sinse 服务器启动以来,kafka 是否计数 log.retatantion

如果我将 log.retantion 设置为 24 小时,则在 1.1.24 15:30 发布了一条消息。 然后服务器宕机了25小时,24年1月16日16:30再次启动,消息会立即删除吗...


当消费者多于分区时,Kafka 消费者分区重新平衡

假设最初我们有一个包含 3 个分区的主题和一个包含 3 个消费者的消费者组,从该主题进行消费。如果我们在消费者组中再添加一个消费者,分区会重新平衡吗


Python子进程获取输出

我有一个 python 脚本来使用 subprocess 模块运行辅助 python 脚本。 我想捕获第二个 python 脚本输出并在关闭主 python 脚本后使其保持活动状态。 我想要...


使用 Python 时出现 Visual Studio 代码错误

我是 VS Code 的新手,希望将其与 Python 一起使用(我也是新手) 遵循 Python 和 Visual Studio 的所有安装说明以及安装 Python Extensi...


python matplotlib 透明热图颜色条

如何实现这样的python matplotlib heatmap colorbar? plt.imshow(a,aspect='auto', cmap=plt.cm.gist_rainbow_r) plt.colorbar()


如何更改Git远程仓库?

考虑: PS C:\.dev\despesas-python> heroku 创建 app-despesas-pessoais-python » 警告:heroku 更新从 7.53.0 到 8.0.5 可用。 创建 ⬢ app-despesas-pessoais-python...完成 https...


使用 Python 以编程方式编辑 Terraform 配置文件

我正在尝试使用Python编辑Terraform配置文件。我正在使用返回 python 字典的 python hcl2 库解析 Terraform 文件(.tf)。我想添加新的键/值对或 c...


关于 mod_wsgi ModuleNotFoundError (dateutil) // python 3.11.4 64bit 和 apache 2.4.58 win64 VS17

我在Windows 11 Pro上使用mod_wsgi与python 3.11.4 64位和apache 2.4.58 win64 VS17。 我为每个人安装 python,而不仅仅是为我自己。 另外我不使用python virtualenv。 当我跑步时


在 Python 中查找面向公众的 IP 地址?

如何在 Python 中找到我的网络的面向公众的 IP?


Python 内部类 - 对象编程

大家。 我想了解 python 类和对象。 我对 python 相当陌生,想深入了解。 我正在努力并努力从内部类中获取输出结果...


成功安装新版本的python后,终端中只显示旧版本

我正在尝试安装 python 3.12,但即使安装成功后,终端仍显示旧版本的 python。 我通过两种方式安装它:使用网站上的 python 安装程序和 hom...


如何从Python中的另一个类更改kivy中的标签文本?

我是Python大佬。 这是我的 python 文件: 从 kivy.app 导入 App 从 kivy.uix.screenmanager 导入 ScreenManager, Screen 从 kivy.lang 导入生成器 kv = Builder.load_file('test.kv...


如何整合两个python文件夹?

我的 OS(C:) 驱动器中的两个位置都有 python。 一个位于 [Folder1] C:\Python38 其他位于 [Folder2] C:\Users\User\AppData\Local\Programs\Python\Python38-32 大部分Folder1和Fol...


vbaShellRun for Python

我正在从 Excel 运行一个调用 python 脚本的宏。我在 PC 上的一个位置安装了 Python 3.11.5,在另一位置安装了 3.12.1。当我使用 3.11.5 调用脚本时 vbaShell.运行...


在Python中计算阶乘

计算时 数学.阶乘(100) 我得到:


Mt5 python 部署

我有一个 python 机器人,可以将订单发送到 MetaTrader5。除了将 mt5 python 机器人托管在本地计算机上之外,是否有任何最佳方法来部署 mt5 python 机器人以 24/7 运行 我尝试在以下免费平台上部署


如何在Python中连接两个整数?

如何在Python中连接两个整数?例如,给定 10 和 20,我想要返回值为 1020。


除非与特定版本的 python 一起使用,否则无法解析 Python 导入

所以我尝试用 nextcord 编写一个 Discord 机器人,但我遇到了一些问题。 nextcord import 仅适用于 python 版本 3.10.11 。如果我使用任何其他版本的 python,它无法解析导入


Python lxml 通过 id-tag 查找元素

我正在开发一个Python程序来保存储藏室的库存。在 XML 文档中,将保留碳粉量,我希望我的 python 程序能够添加、删除和显示


Python 包安装问题:ModuleNotFoundError

我正在尝试使用 modal-python 包。 使用 Google Colab 笔记本时,在安装 pip install modal-python 软件包后,我可以轻松地按预期使用该软件包。例如:从 modAL.models 导入


Python 逐步回归与 AIC?

以 AIC 为标准的逐步回归的 R step() 函数的 Python 等效项是什么? statsmodels.api 中是否有现有函数?


Python 中的 Selenium - 我无法从 <a> 元素中提取文本

有了这段Python代码,我有: main_div = driver.find_element(By.XPATH,"//div[@class='am-appointments am-section']")#该类只有一个 child_div = main_div.find_elements...


python 中的 ntp 客户端

我用python编写了一个ntp客户端来查询时间服务器并显示时间,程序执行但没有给我任何结果。 我使用的是python的2.7.3集成开发环境...


尝试在 Python 3 上安装 pygame 时出错

我尝试使用安装 pygame pip 安装 pygame 我尝试使用 Python 3.8 安装它,但它输出以下错误。 我也尝试使用 Python 3.7 安装,但仍然没有成功。 错误: ...


如何在桌面上执行或运行Python程序?

我刚开始学习Python,运行程序(我的代码)时遇到了困难,cmd 识别出我有 3.12 Python 版本,但是当我运行使用 VS StudioCode 编写的代码时,


Renovate 结合 GitLab 包注册表更新 Python 模块 setup.py 依赖项

我们有 Python 模块,它们引用内部 GitLab 包注册表中的其他 Python 模块。 setup.py 如下所示: 导入安装工具 安装工具.安装( 名字=&q...


过滤Python字典中键包含特定字符串的项目

我是一名 C 程序员,正在用 Python 开发一些东西。我知道如何在 C 中执行以下操作(因此在应用于 python 的类似 C 的逻辑中),但我想知道“Python”的执行方式是什么。 我有一个


Python 字典不同的键名称

是否可以循环遍历Python字典并输出此输出 prods = {'product_1': {'color': '白色', 'whls': '25.00', 'size_3': '0', 'size_4': '14', 'size_5': '35'}, '产品...


© www.soinside.com 2019 - 2024. All rights reserved.