ruby-kafka 相关问题


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期

我正在使用 Spring kafka 实现,我需要通过 REST API 启动和停止我的 kafka 消费者。为此,我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。


Kafka Java Consumer Client 是单线程的吗

我们正在开始使用 Kafka, 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...


使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢!


尝试安装 ruby gem 时无法找到 dnssd 标头错误

出现此错误 错误:安装 dnssd 时出错: 错误:无法构建 gem 本机扩展。 /Users/me/.rvm/rubies/ruby-1.9.3-p550/bin/ruby -r ./siteconf20141108-39945-13la3bu.rb extconf.rb ch...


Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前,输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......


如何使用 Homebrew 更新 Ruby?

我想知道如何使用 Homebrew 更新到最新稳定版本的 Ruby。我对使用 RVM 不感兴趣。谢谢。


Ruby https POST 带标题

如何在 Ruby 中使用 json 制作带有标头的 Https 帖子? 我努力了: uri = URI.parse("https://...") https = Net::HTTP.new(uri.host,uri.port) req = Net::HTTP::Post.new(uri.path) ...


无法通过 Mac M1 Silicon Chip 上的 rvm 安装任何 ruby 版本

错误响应示例: TTRAN-YK0WK9W9PM:虚拟终端 tuantran$ rvm 安装 2.7.6 ruby-2.7.6 - #删除 src/ruby-2.7.6.. 搜索二元红宝石,这可能需要一些时间。 没有二进制 ru...


即使部署在 kubernetes pod 上,kafka 主题仍然是不可变的吗?

我在 kubernetes pod 上部署了 kafka 主题和模式注册表,我尝试修改/更改 kafka 主题和模式注册表的清单文件,然后模式注册表的行为在


使用 kafka-go 和循环平衡器时,数据始终进入分区 0

我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器,但数据始终进入分区 0。我尝试忽略所有消息的分区字段,但是...


从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新


加载 RubyGems 插件“.../plugins/yard_plugin.rb”时出错:无法加载此类文件 -- .../lib/rubygems_plugin.rb (LoadError)

我得到了: 加载 RubyGems 插件“/Users/dorianmariefr/.asdf/installs/ruby/3.3.0/lib/ruby/gems/3.3.0/plugins/yard_plugin.rb”时出错:无法加载此类文件 -- /Users/dorianmariefr/。 asdf/insta...


依赖更新后构建kafka生产者失败

在我的 SpringBoot Java 项目中,我使用的是 kafka,特别是 ReactiveKafka。我正在更新依赖项,特别是这些依赖项: springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-


Kafka UI 无法连接到 Broker

我是容器化新手。我正在尝试设置我的本地环境,我的 java 应用程序想要连接到 Kafka。无法使用 Docker,所以决定使用 Podman。我有三个容器在同一个上运行


Spring Boot 3.1.X及以上版本的Kafka客户端连接问题

我最近将我的一项 Spring Boot 服务升级到 3.1.x,升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...


有没有办法将AWS Cloudwatch日志输入Kafka主题

我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布,其中...


Kafka:如何使用 Java API 从主题中删除记录?

我正在寻找一种从 Kafka 主题中删除(完全删除)已使用记录的方法。我知道有几种方法可以做到这一点,通过更改主题的保留时间或删除...


用 Ruby 编写一个脚本,将所有 *.htm 文件重命名为 *.html

我需要用 Ruby 编写一个脚本,将给定的所有 *.htm 文件重命名为 *.html 目录。 我收到的剧本有一些缺失。 我需要使用适当的方法名称“METHOD”...


Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗


具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端

我目前正在使用一个Java Kafka消费者,它手动提交偏移量(enable.auto.commit = false),我发现即使我生成了多个实例,我发现这样的设置也是如此


如何在 Ruby on Rails 中获取 slug 并将其用作页面的主体类?

我是 Ruby 新手,我有一个项目,我确实需要页面具有唯一的类/ID。这样的话,躺着就非常方便了。 网站上的每个页面都有一个 slug。喜欢 www.site.com/page-


如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息?

我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息,消费完之后,ActiveMQ会自动删除消费的消息。仅未消耗


使用 ruby 3.2 部署的 GCP App Engine Rails 应用程序向 foreman start 添加参数,然后失败

我正在使用 google cloud build 来部署我的 Rails 应用程序。最近我将 ruby 版本升级到了 3.2。我使用 foreman 作为 app.yaml 中的入口点(不带参数)并添加了


在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡


-bash:rbenv:找不到命令

我尝试通过 ruby rbnev 安装 jekyll,然后将 open ~/.bash_profile 放入终端并在文本编辑器中输入 eval "$(rbenv init -bash)" ,这是唯一的方法...


Ruby on Rails 条件渲染不起作用

这是我的考勤控制器中mark_attendance方法的一部分。该方法在扫描二维码后调用,如果 my_student_course.size > 1,则应显示模式。 `如果讲师


在 Ruby On Rails 中出现“堆栈级别太深错误”

当我在index.html.erb中调用vendor.account_owner时,出现堆栈级别太深错误 供应商迁移文件如下所示 创建供应商类 < ActiveRecord::Migration[7.0] def change...


Ruby 数组存储不同类型的跟随图

我有一个函数,它将方程作为字符串数组,并且(我希望)用它们的值替换任何已知变量(puts 语句仅用于调试): 定义


使用 QuickMagick 删除图像中的所有灰度

我想使用 Ruby 中的 QuickMagick 或 RMagic 删除图像中的所有灰色。我在这里找到了这个解决方案:https://www.imagemagick.org/discourse-server/viewtopic.php?t=36051 for ImageMagick 但我没有


Python KafkaTimeoutError:等待未来超时

我正在使用 Kafka 将日志发送到主题。发送消息时,我总是收到此错误 消息:“测试日志” 参数:() --- 记录错误 --- 回溯(最近一次调用最后一次): 文件“...


在 Ruby 中从字符串中提取数字

我正在使用此代码: s = line.match( /ABCD(\d{4})/ ).values_at( 1 )[0] 要从字符串中提取数字,例如: ABCD1234 ABCD1235 ABCD1236 ETC。 它有效,但我想知道我还有什么其他选择...


如果元素尚不存在,则将其添加到数组中

我有一个 Ruby 课程 我的班级 attr_writer:项目1,:项目2 结尾 my_array = get_array_of_my_class() #my_array是MyClass的数组 项目1的唯一数组= [] 我想将 MyClass#item1 推送到


寻找独立的命令行代码生成器脚本

我正在寻找一个库或命令行脚本,它允许我创建可以从命令行生成的自定义模板。 ruby on Rails 脚手架生成器几乎相同......


Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了

我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时,我看到以下内容


如何按名称对@users.person.name进行排序? (Ruby on Rails)

我正在尝试按名称字母顺序对@users进行排序。我该怎么做呢? @用户.person.name 编辑: 我是这样解决这个问题的: @用户.sort! { |a,b| a.person.name <=> b.person.name } 谢谢你...


debezium 日期/时间字段值超出范围:0000-12-30T00:00:00Z

我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at,当值为0时start_at='0001-01-01 00:00:00.000000 +00:00',但是当我们检查kafka中的数据时,它是


Ruby:替换部分包括 $1 $2 $3 并保存在变量中,但使用 gsub 时不会发生插值

(a) 我写的代码。 $str = '909090 aa bb cc dd ee ff 00 12345678 aa bb 12345678 aa bb cc dd ee ff 00 11 22 33 123456 FE 89' 投入 $str $str.gsub!(/\s+/, '') search_1 = 'aa bb cc...


Rails 使用符号与字符串作为参数哈希中的键

如果我们使用字符串作为哈希键,Ruby 需要评估该字符串并查看其内容(并计算其哈希函数),并将结果与键的(哈希)值进行比较...


Groovy 抛出 可能的解决方案:解析 LinkedHashMap 时出现 parseText(java.lang.String) 错误

我正在尝试检查kafka输出消息中是否存在该密钥,如果存在则进行进一步的操作。 卡夫卡主题的输出消息如下 [“随机名称_547hcg”:{ “访问_...


如何删除AWS MSK集群中的kafka状态存储

我有一个使用 AWS 上的 MSK 集群的 kafkaStreams 应用程序。 我需要清理状态存储(在我的应用程序中使用一些 KTable 后创建)。 我找不到任何方法来访问文件系统......


使用Ruby和Sinatra,是否可以以“内部”或“内联”方式使用HAML?

我已经完成了 gem install sinatra 和 gem install haml 我有这个 .rb 文件 需要“西纳特拉” 得到 '/abc2' 做 “啊啊啊啊啊” 结尾 现在假设我想要 HTML 行,但使用 HAML...


自消息发布或 sinse 服务器启动以来,kafka 是否计数 log.retatantion

如果我将 log.retantion 设置为 24 小时,则在 1.1.24 15:30 发布了一条消息。 然后服务器宕机了25小时,24年1月16日16:30再次启动,消息会立即删除吗...


Ruby - 使用惰性求值查找第一个 N 回文素数

我认为我的代码是正确的 - 但我没有及时返回 N = 200 的数组。错误是“由于超时而终止” 我可以做些什么来提高这段代码的性能? def is_回文...


在 ruby 中递归添加目录到 $LOAD_PATH 的最快方法是什么?

我想将vendor/gems/gems/**/lib 中的所有内容都放到加载路径上。我有办法做到这一点,但感觉很笨拙。 现在,我正在通过以下方式做到这一点: 基 = File.expand_path(File.join(File.di...


创建包含轨道模型的 gem

我已经阅读了很多有关该主题的文章,但似乎没有什么能完全满足我的需求。如果我重复或不清楚某些事情,我很抱歉,因为我既是 ruby 和 Rails 的新手,也是 Stack Overflow 的新手。 我有...


确定当前太平洋时区是 PST 还是 PDT

我们有一些 Ruby(在 Rails 上下文中)可以将表示的时间整数解析为日期时间,并且我们需要确保将日期时间解析为太平洋时间: 日期时间.new(2012, 11, 17, 3, 2, 0, '太平洋标准时间')


当消费者多于分区时,Kafka 消费者分区重新平衡

假设最初我们有一个包含 3 个分区的主题和一个包含 3 个消费者的消费者组,从该主题进行消费。如果我们在消费者组中再添加一个消费者,分区会重新平衡吗


了解 Ruby 版本控制冲突:揭开 Net::ProtocRetryError 和 Net::BufferedIO::BUFSIZE 警告

每次我工作时,当我尝试启动任何像mailcatcher这样的gem,启动我的服务器或运行命令rails c时,我都会看到此错误消息,但我不知道为什么它看起来像是某种错误版本...


如何为物理治疗师定义这个 Rails 应用程序的模型关系?

我是 Ruby on Rails 初学者,正在尝试构建我的第一个现实生活中的 Rails 应用程序。 想法如下: 该应用程序显示了练习的概述。每个练习都有一个类别:字符串,身体部位:字符串,


© www.soinside.com 2019 - 2024. All rights reserved.