mongodb-kafka-connector 相关问题


Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...


无法将 Spark 数据帧写入 Mongo

使用 mongo-connector 版本 10.0.1 以下是我的配置 .config("spark.mongodb.write.connection.uri","mongodb://127.0.0.1:27017/") .config("spark.mongodb.write.database&


如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期

我正在使用 Spring kafka 实现,我需要通过 REST API 启动和停止我的 kafka 消费者。为此,我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。


Kafka Java Consumer Client 是单线程的吗

我们正在开始使用 Kafka, 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...


使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢!


Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前,输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......


即使部署在 kubernetes pod 上,kafka 主题仍然是不可变的吗?

我在 kubernetes pod 上部署了 kafka 主题和模式注册表,我尝试修改/更改 kafka 主题和模式注册表的清单文件,然后模式注册表的行为在


使用 kafka-go 和循环平衡器时,数据始终进入分区 0

我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器,但数据始终进入分区 0。我尝试忽略所有消息的分区字段,但是...


从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新


为 Mac 操作系统安装哪个 jdbc(连接器/j)

我正在尝试下载 jdbc 连接器,但我无法从以下链接的选择选项中找到 mac os: https://dev.mysql.com/downloads/connector/j/ 哪里可以下载mysql连接器...


mongodb和nodejs中的promise待处理错误

我已经编写了node.js代码,用于使用mongodb数据库获取一些数字。这是我的代码 MongoClient.connect('mongodb://localhost:27017/mongomart', 函数(err, db) { 断言....


依赖更新后构建kafka生产者失败

在我的 SpringBoot Java 项目中,我使用的是 kafka,特别是 ReactiveKafka。我正在更新依赖项,特别是这些依赖项: springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-


mongodb+srv URI 不能有端口号

我有(注:用户名和密码是虚构的): const CONNECTION_URL = "mongodb+srv://smith_bob:[email protected]:T@llyHo!:@cluster0.r92qc.mongodb.net/myFirstDatabase?retryWrites=true&am...


“sudo pecl install mongodb”在 macOS 上不起作用

我尝试通过运行以下命令在 macOS Catalina v10.15.7 上安装 MongoDB PHP 扩展, sudo pecl 安装 mongodb 但它最后抛出以下错误, 构建过程完成


使用 Spring Boot 查询 mongoDB 中的对象数组

我有mongoDB集合如下 { "_id": "ba4d5a0e-1759-4e88-bd57-5e7781d46da7", "name": "文档 3 已更新", “文档类”:“033a1f67...


Kafka UI 无法连接到 Broker

我是容器化新手。我正在尝试设置我的本地环境,我的 java 应用程序想要连接到 Kafka。无法使用 Docker,所以决定使用 Podman。我有三个容器在同一个上运行


Spring Boot 3.1.X及以上版本的Kafka客户端连接问题

我最近将我的一项 Spring Boot 服务升级到 3.1.x,升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...


有没有办法将AWS Cloudwatch日志输入Kafka主题

我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布,其中...


Kafka:如何使用 Java API 从主题中删除记录?

我正在寻找一种从 Kafka 主题中删除(完全删除)已使用记录的方法。我知道有几种方法可以做到这一点,通过更改主题的保留时间或删除...


Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗


具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端

我目前正在使用一个Java Kafka消费者,它手动提交偏移量(enable.auto.commit = false),我发现即使我生成了多个实例,我发现这样的设置也是如此


MongoDB 到 Bigquery(批量)数据流模板 - UDF 不起作用

我们正在尝试按计划将 mongoDB 中的当前数据加载到 bigquery 中。目前正在尝试使用谷歌云的数据流服务与 MongoDB 到 Bigquery(批量)模板一起使用...


在查询本身中限制 MongoDB 查询的结果

可以使用 limit 函数限制 MongoDB 查询的结果: MongoDB 限制查找结果 但我正在创建一个 API,您可以通过发送原始 BsonDocument 来查询该 API,并且该 API 使用


从nodejs访问/tmp/mongodb-27017.sock的权限被拒绝

我有一个写入 mongodb 套接字的节点应用程序。但是,在启动节点应用程序后,我收到错误: MongoServerSelectionError:连接 EACCES /tmp/mongodb-27017.sock 节点应用程序正在运行...


如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息?

我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息,消费完之后,ActiveMQ会自动删除消费的消息。仅未消耗


在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业

我正在开发一个 Spark 项目,我需要在两个不同的集群上运行作业,两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡


MongoDB 客户端在 mscorlib 中抛出 FileNotFoundException

我正在使用 Visual Studio .NET 4.6,Robomongo 连接到我的数据库没有问题 我的 MongoDB 导入 使用 MongoDB.Driver; 使用 MongoDB.Driver.Builders; 使用 MongoDB.Bson; 代码...


Mongodb 集合数据在使用 Crow 的网页上显示为空白

我已经部署到铁路和mongodb集合名为contacts添加了josn文件。我希望在网页上显示联系人的数据。然后我通过在 hello 中创建 dockerfile 来添加 mongodb c++ 驱动程序...


azure aks 将 k8 集群中运行的 mongodb 备份到本地文件或 azure 存储

问题陈述 我们想要备份在 azure 中的 k8s 集群中运行的 mongodb,并将其导出到在不同 k8s 集群中运行的其他 mongodb 中。 有没有人提供与此相关的指针


无法连接:在建立安全 TLS 连接之前客户端网络套接字已断开连接

我目前在网络上使用MongoDB,特别是在cloud.mongodb.com上,因为我使用的是32位系统,无法在本地下载MongoDB。我是 MongoDB 新手,我尝试创建一个数据库...


mongodb 中的聊天集合查询

{ “_id”:“654f4d7cbb027c35a0b90529”, "msg": "测试消息", “创建时间”:“2023-11-11T09:46:41.872Z”, “dateseen”:“...


从 mongodb 中的父级获取完整树

我使用带有集合的 MongoDB 数据库,使用树父子引用。 集合中的每个文档都包含一个属性:parentId。parentId 属性是一个 (ObjectId) 引用...


使用 MongoDB API 为 CosmosDB 创建唯一索引失败

我正在将 Azure CosmosDB 与 MongoDB API 结合使用。我正在尝试执行以下操作: db.createCollection('测试') db.test.createIndex({key: 1}, {name: 'key_1', unique: true}) 然而,这样做失败了......


从Node.js服务器中的Java Android应用程序接收JSON,并将其插入到Mongodb数据库

所以我尝试使用 Node.js 服务器将数据从 Java Andoid 应用程序插入到 Mongodb 数据库。但是我的 JSON 对象是空的(正如我所想的)并且读取值是“未定义”。我正在使用 mongodb


使用Datadog配置MongoDB集群

我刚开始使用datadog,除了从datadog集成按钮安装之外,不太确定mongodb和datadog之间的集成如何工作 我的目的是收集尽可能多的满足...


MongoDB 未插入所有文档

我要扔毛巾了。我不明白为什么我的所有插入都没有显示在 MongoDB 中。 我试图插入 8 个文档,但只显示 5 个。 我的插入代码: db.mycollection.insertMany( ...


部署期间MongoDB身份验证错误,本地运行时没有错误

部署过程中出现以下错误: 5:30:38 PM:[nodemon] 启动 `node server.js` 5:30:39 PM:服务器监听 http://localhost:3000 5:30:39 PM:/opt/build/repo/node_modules/mongodb...


Azure 能否发布管道任务内联 Powershell 连接到 MongoDB load(file) 方法

一直在使用 MDBC powershell 模块连接到 Azure cosmosDB 中的 MongoDB 实例。需要加载带有代码的 .js 文件来更新集合。 示例:(mikesSuperHappyJS.js) var colle...


Bootstrap 模式仅显示 MongoDB 集合中的第一条记录

我正在使用 NodeJS、Handlebars 和 Bootstrap 构建一个简单的 Web 应用程序。它应该循环遍历模拟产品的 MongoDB 集合并显示其字段。 我正在“产品...


尝试使用 MongoDB Realm 检索数据时出现无效会话错误

我在尝试从 MongoDB Realm 数据库打印集合时遇到此错误 INVALID_SESSION(realm::app::ServiceError:2):无效会话:访问 令牌已过期 这是我的代码: Realm.init(第...


为什么 Mongodb 不会自动创建“id”,以及如何禁用它

{ “_ID”: { “$oid”:“65ea05dbaa907e05219c0934” }, “id”:6, “标题”:“asd”, “内容”:“asd”, “自动...


MongoDB - 映射结构中的分组和求和聚合

我对 MongoDB 还很陌生,我需要对集合中所有文档中每个唯一日期的所有发票总数进行分组。这是集合的摘要,数据存储在其中...


如果项目不存在,Mongodb 会在数组中插入一个项目

如果数组中不存在项目,我想在 mongodb 集合的数组中插入一个项目。 例如集合: { 员工编号:100, empName: '约翰', 员工技术技能:[ { 恩皮德:...


播放存储在 MongoDB Atlas 上的音频文件

我在 Heroku 上有一个应用程序,处理 GridFS 存储在 MongoDB Atlas 数据库中的音频文件。 这个应用程序使用 Next.JS 和express。 为了这个问题,让我们考虑一下我...


从 Laravel 中的大型 MongoDB 检索数据

我想从 MongoDB 集合中检索一些数据,该集合包含 1M 文档并且每天都在增加。 为了某些特定目的,我需要立即获取一些数据。但是,我正在获取数据...


如何在不指定类的情况下使用 MongoDB C# 驱动程序

我正在使用 MongoDB c# 驱动程序 2.0。我试图在不指定类型或类的情况下获取集合。观察: 使用系统; 使用 System.Collections.Generic; 使用 System.Linq; 使用系统文本; ...


如何检索并显示存储在 MongoDB 数据库中的信息?

我目前正在编写一个 NodeJS 服务器,我试图连接到我的 MongoDB 数据库,所以我使用 mongoose。问题是,在数据库中成功创建条目后,我的服务器...


Python KafkaTimeoutError:等待未来超时

我正在使用 Kafka 将日志发送到主题。发送消息时,我总是收到此错误 消息:“测试日志” 参数:() --- 记录错误 --- 回溯(最近一次调用最后一次): 文件“...


针对不同的合并项目使用不同的 MongoDB 集合

我有 2 个 NodeJs 项目,最近将它们合并到一个 NodeJs 服务器中,同时将控制器、服务和 mongoDB 模型保留在两个项目的单独文件夹中。问题是,合并后...


按全局排序顺序分页从 MongoDB 集合中获取数据

我正在开发一个项目,其中有一个名为words的MongoDB集合,包含各种单词。我的目标是以分页方式获取这些单词,同时保持按字典顺序排序......


© www.soinside.com 2019 - 2024. All rights reserved.