google-cloud-pubsub 相关问题

使用托管在Google基础架构上的可靠,多对多的异步消息传递来连接您的服务。 Cloud Pub / Sub会根据您的需要自动扩展,并为构建您自己的强大全球服务奠定基础。

GCP Pub Sub 中的订阅确认设置是否会自动被拉取订阅的客户端库覆盖?

我们正在使用 GCP Pub Sub 客户端库 (com.google.cloud.pubsub.v1) 来处理来自订阅的消息。 请求订阅的默认 ACK 截止时间为 10 秒。 寻找一些

回答 1 投票 0

Google Cloud - 在cloudbuild中设置云功能的默认重试

我想知道是否有办法直接在云函数的yaml中配置“失败重试”触发策略。 至于现在,我找到了有关工作流程的文档,或者只是将其标记为...

回答 1 投票 0

Kinesis 流吞吐量

我不明白为什么AWS kinesis在配置模式下的吞吐量非常低。 文档参考 每个分片可支持高达 1 MB/秒或 1,000 条记录/秒的写入吞吐量或高达 2 MB/秒或...

回答 1 投票 0

具有动态订阅者数量的 GCP PubSub 行为

我有一个订阅 PubSub 订阅的 Cloud Run FastAPI 应用程序。它将处理突发流量,因此在给定时间可能有 0 个实例,也可能有 20 个实例。 假设我有 10 个

回答 1 投票 0

从 PCF 连接 pub/sub 时出现问题

我正在尝试从 PCF 环境(Spring boot 应用程序)连接 google Pub/Sub。应用程序已成功从credentials.json 文件加载凭据并打印项目ID。但正在打印...

回答 1 投票 0

GCP pubsub 仅向失败的订阅者重放 DLQ 消息

我们有一个使用 GCP pubsub 构建的系统,其中有一个主要的“事件”主题,该主题从多个来源接收不同的消息并将所有这些消息发布到许多不同的子主题...

回答 1 投票 0

对 BigQuery 订阅的 Pub/Sub 进行问题排查

我使用表架构设置了对 Pub/Sub 主题的 BigQuery 订阅,但是当我向该主题发布消息时,数据不会写入 BigQuery 表。我按照谷歌的问题解决...

回答 1 投票 0

将数据写入云存储时,将 GCP Pub Sub 上的文件名前缀设计为 YYYY/MM/DD

在将流数据写入存储时,我想将其打印到相关年月日的文件夹中。订阅中的发布/订阅 文件名前缀设置中应该使用哪个函数? 我期待

回答 1 投票 0

如何在 Firebase Functions 第二代中删除 x 分钟后重试的事件

我正在将一些 Firebase Functions 代码从第一代迁移到第二代。在我的第一代函数中,我使用 shouldDropEvent 帮助器,它查看上下文的时间戳并决定删除事件

回答 1 投票 0

Google pubsub:如何为 pubsub 订阅者实现自定义健康活性

更新2024-04-17 这可能是关闭订阅者的代码: if (!StatusUtil.isRetryable(原因)) { ApiException gaxException = ApiExceptionFactory.createException( ...

回答 1 投票 0

python 数据流:GroupByKey 无法应用于具有全局窗口和默认触发器的无界 PCollection

我有一个简单的 python 数据流代码,它使用无界 pcollection 。它只是 从 pubsub 读取 解析为带有输出标签 SUCCESS 和 FAILURE 的 json 使用输出标签 SUCCESS 和 F 验证 json...

回答 1 投票 0

找不到 PubSubTemplate、Spring Boot 3、GCP PUB/SUB 的 bean

我正在尝试将 GCP pub/sub 与我现有的 Spring Boot 应用程序集成。我在构建中拥有所需的依赖项,并提供了使用订阅配置连接到 GCP 的配置,并且

回答 1 投票 0

为什么我的数据流管道没有显示无法插入 BigQuery?

我用 Go 编写了一个数据流管道,它从 Pub/Sub 订阅中读取数据,执行转换,然后将记录写入 BigQuery。 它看起来运行良好,但我看不到数据......

回答 1 投票 0

如果发送的消息计数为零,则 pubsub 触发警报

我有一个用于对象终结的存储桶通知的 pubsub 主题。因此,每当在存储桶中添加新文件时,订阅者都会收到存储桶中的文件名,并且代码会确认消息 af...

回答 1 投票 0

GCP PubSub:通过 CURL 类型的请求发布消息

有人有如何直接从 shell 通过 CURL 类型的命令将消息发布到 GCP PubSub 主题的工作示例吗? 我试图不使用 CLI 也不使用客户端库,...

回答 2 投票 0

使用恶意软件扫描程序(ClamAV)时Google Cloud Storage存储桶上传文件验证

正如标题所说,我如何验证文件是否已成功上传到干净的存储桶。我们有 3 个存储桶(未扫描、干净、隔离)和恶意软件扫描程序 (ClamAV)。首先文件是

回答 1 投票 0

Google Cloud Pub/Sub 通过 ID 检索消息

问题:我的用例是我想将数千条消息发布到 Google Cloud Pub/Sub,保留期为 5 分钟,但仅通过 ID 检索特定消息 - 因此云函数将重试...

回答 2 投票 0

具有多个 Pod 的 GKE 集群中的 pubsub 拉取订阅

我有一个 pubsub 订阅者,它检查 gs 存储桶中的新文件。一旦文件到达 gs 存储桶,我需要解析它并根据存储桶路径中的 id 发送到特定的 bigquery 表。 为了那个...

回答 1 投票 0

Pubsub 到 BigQuery 订阅:架构修订导致 BigQuery 中出现空值

我面临着 pubsub 模式演变的问题,当我添加新字段时,它们的值最终在 BigQuery 中为空。我的项目结构如下。 发布订阅模式 { “命名空间”...

回答 1 投票 0

确保在 Pub/Sub 中使用多个排序密钥顺序交付

我正在开发一个发布/订阅系统,我需要确保消息按照发布的确切顺序接收,即使使用多个排序键也是如此。我的系统发布了大量...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.