我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...
如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢！
我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前，输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......
使用 mongo-connector 版本 10.0.1 以下是我的配置 .config("spark.mongodb.write.connection.uri","mongodb://127.0.0.1:27017/") .config("spark.mongodb.write.database&
如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期
我正在使用 Spring kafka 实现，我需要通过 REST API 启动和停止我的 kafka 消费者。为此，我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。
Kafka Java Consumer Client 是单线程的吗
我们正在开始使用 Kafka， 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...
即使部署在 kubernetes pod 上，kafka 主题仍然是不可变的吗？
我在 kubernetes pod 上部署了 kafka 主题和模式注册表，我尝试修改/更改 kafka 主题和模式注册表的清单文件，然后模式注册表的行为在
使用 kafka-go 和循环平衡器时，数据始终进入分区 0
我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器，但数据始终进入分区 0。我尝试忽略所有消息的分区字段，但是...
我想从Kafka获取数据，此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新
我正在尝试下载 jdbc 连接器，但我无法从以下链接的选择选项中找到 mac os： https://dev.mysql.com/downloads/connector/j/ 哪里可以下载mysql连接器...
将 localstack 与 Spring Cloud AWS 2.3 一起使用时出现未知主机
“ResourceLoader”与 AWS S3 可以很好地处理这些属性： 云： 亚马逊： s3: 端点：s3.amazonaws.com <-- custom endpoint added in spring cloud aws 2.3 creden...
我有一个 React 应用程序部署到 S3 存储桶，还有另一个私有 S3 存储桶，我在同一 AWS 账户中存储图像和文档。目前，我使用 AWS 在前端显示图像......
AWS/S3/boto3：无法使用 presigned_url 将文件上传到存储桶
我有以下代码来获取 presigned_url： s3_client = boto3.client('s3', endpoint_url=AWS_ENDPOINT) presigned_url = s3_client.generate_presigned_url('get_object', ...
在我的 SpringBoot Java 项目中，我使用的是 kafka，特别是 ReactiveKafka。我正在更新依赖项，特别是这些依赖项： springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-
使用 preSignedUrl 上传/发布任意目录/文件到 S3
我正在尝试找出一种方法将文件发送到 S3 到具有任意“目录”和“文件名”的签名 URL。了解 S3 没有目录。 我能成功...
无法从S3存储桶下载文件。 （Langchain + s3）
我正在编写一个项目，使用s3来存储文件pdf，并使用langchain来连接和加载文件。 这是我的代码： const loader = new S3Loader({ bucket: process.env.BUCKET, key: filekey, // 示例: test/
我是容器化新手。我正在尝试设置我的本地环境，我的 java 应用程序想要连接到 Kafka。无法使用 Docker，所以决定使用 Podman。我有三个容器在同一个上运行
我有一项工作，克隆存储库，然后 s3 将更改文件同步到 s3 存储桶。我只想同步已更改的文件。由于首先克隆了存储库，因此文件始终具有新的时间戳，因此 s3 同步
Spring Boot 3.1.X及以上版本的Kafka客户端连接问题
我最近将我的一项 Spring Boot 服务升级到 3.1.x，升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...
有没有办法将AWS Cloudwatch日志输入Kafka主题
我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布，其中...
我正在将与 macOS 一起使用的外部硬盘驱动器的全部内容同步到 S3 存储桶。我想排除所有 macOS 隐藏文件。 我试过了： aws s3 同步 --dryrun --排除“^\.” --
我正在寻找一种从 Kafka 主题中删除（完全删除）已使用记录的方法。我知道有几种方法可以做到这一点，通过更改主题的保留时间或删除...
我们可以将 s3 位置传递到 Dag 文件夹到 Ec2 实例 Apache Airflow 吗
如何将 S3 位置传递到文件airflow.cfg 中的 dag 文件夹中。 目前我的airflow.cfg 看起来像：- dags_folder = /home/airflow/airflow/dags 我想使用 s3 位置的 dags。我该怎么办...
使用 Kinesis Firehose for JSON 重新格式化发送到 S3 的 CloudWatch 日志
我有一个工作设置，可以使用 Kinesis Firehose 将 CloudWatch 日志发送到 S3 存储桶。不幸的是，S3 中的文件不包含格式正确的 JSON。格式正确的 JSON 数组...
我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知，消息应该在这两个中随机消耗
具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端
我目前正在使用一个Java Kafka消费者，它手动提交偏移量（enable.auto.commit = false），我发现即使我生成了多个实例，我发现这样的设置也是如此
我目前正在为一个项目开发一条路线，我需要从 S3 获取特定文件，读取其内容，并以二进制形式返回。我不能只使用 S3 文件 url，因为它是私有的，而且是
如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息？
我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息，消费完之后，ActiveMQ会自动删除消费的消息。仅未消耗
在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业
我正在开发一个 Spark 项目，我需要在两个不同的集群上运行作业，两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡
我需要创建一个 CSV 并将其上传到 S3 存储桶。由于我正在动态创建文件，因此如果我可以在创建文件时将其直接写入 S3 存储桶而不是写入，那就更好了...
我使用AWS DataSync从本地到Amazon S3，如果我删除本地数据，它会同步到Amazon S3吗？
AWS DataSync 是否会将已在本地删除的文件同步到 Amazon S3，以便该文件从两个位置都消失/删除？如果是的话我可以关闭这个功能吗？如何？ 我已阅读文档...
我有一个 iOS 客户端，可以使用匿名 Cognito Identity 和 Amplify SDK 成功将文件上传到 S3。 现在我尝试使用 CLI 模拟相同的上传，但失败了...
Glue Dynamic Frame 比普通 Spark 慢得多
在下图中，我们使用三种不同配置运行相同的胶水作业，以了解如何写入 S3： 我们使用动态帧写入S3 我们用纯spark框架写信给S...
我正在尝试创建基本的 Lambda 函数来连接到 S3，然后执行其余的操作，但我在开始连接到 S3 时陷入困境，并在运行代码时遇到以下错误。 导入
CDK - 调用 PutBucketNotificationConfiguration 操作时发生错误（AccessDenied）：
我正在尝试使用 CDK 包添加 S3 事件通知。此 CDK 包在账户 A 中部署了一个 lambda 函数，每次将 S3 对象添加到账户 B 的“testfolder/”中时都会触发...
我正在运行 localstack 3.0.2 来使用 aws-java-sdk 作为使用 TestContainers 的集成测试来测试 Spring Boot 应用程序。我需要模拟查询大量 S3 对象，因此我生成一个 ...
制作Moviepy视频并使用python Flask将其保存到S3
问题陈述： 我在尝试使用 Python 中的 OpenAI API 从 YouTube 视频转录音频时遇到错误。我的目标是将音频保存到 S3 存储桶，然后传递...
我必须从外部源下载文件并将它们上传到S3存储桶中，到目前为止我发现适用于小文件，但似乎无法上传稍大的文件。 ...
使用单个 API 调用检查 aws s3 存储桶中是否存在 10 个对象
我正在使用 javascript AWS SDK 限制条件： 我不需要这 10 个对象的内容，只想知道它们是否存在 我想为 AWS S3 创建一个 API
如何避免在微前端（Single-spa）应用程序中对 importmap.js 进行缓存
2 个微前端和根应用程序通过 AWS Cloudfront 分发部署在 S3 存储桶中。 在我的 s3 存储桶中，文件存储在以下结构中 app1_281（反应微前端） app2_13 ...
从 S3 下载文件到 /tmp 时 AWS Lambda 函数中的数据丢失
我在AWS中编写了一个Lambda函数，用于将文件从S3位置下载到/tmp目录（本地Lambda空间）。 我可以下载该文件，但是文件大小在这里发生变化，不确定...
Python KafkaTimeoutError：等待未来超时
我正在使用 Kafka 将日志发送到主题。发送消息时，我总是收到此错误 消息：“测试日志” 参数：() --- 记录错误 --- 回溯（最近一次调用最后一次）： 文件“...
Lambda 未获取使用 SNS 主题创建的 s3 通知对象的事件详细信息 Lambda 未获取使用 SNS 主题创建的 s3 通知对象的事件详细信息 我创建了一个 AWS SNS 主题并且
Terraform - 创建带有名称的 S3 存储桶；保留现有的存储桶
在我们的开发环境中，我们希望为每个开发人员提供 S3 存储桶。我正在尝试将这些存储桶的管理迁移到 Terraform。这是在一个新帐户中进行的，所以有...
AWS-Lambda 函数 (Python) 从 S3 复制文件 - 执行操作 - 将输出存储在另一个 S3 中
我正在寻找一些指导，如果有人可以引导我走向正确的方向。 场景：必须用 Python 编写一个 Lambda 函数，该函数能够执行以下任务； Lambda 被触发
Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了
我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时，我看到以下内容
为什么要在 Galaxy S3 的 2.3.3 API 中开发应用程序？ [已关闭]
我最近正在开发一个应用程序并且一直在研究。我首先在 4.1.2 API 中编写了我的 Android 应用程序，这是 Galaxy S3 的 API。但今天，因为我犯了一个错误，所以我重新开始...
debezium 日期/时间字段值超出范围：0000-12-30T00:00:00Z
我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at，当值为0时start_at='0001-01-01 00:00:00.000000 +00:00'，但是当我们检查kafka中的数据时，它是
Groovy 抛出 可能的解决方案：解析 LinkedHashMap 时出现 parseText(java.lang.String) 错误
我正在尝试检查kafka输出消息中是否存在该密钥，如果存在则进行进一步的操作。 卡夫卡主题的输出消息如下 [“随机名称_547hcg”：{ “访问_...
我有一个使用 AWS 上的 MSK 集群的 kafkaStreams 应用程序。 我需要清理状态存储（在我的应用程序中使用一些 KTable 后创建）。 我找不到任何方法来访问文件系统......