Cloud Pub/Sub 中的订购交付是否可以与 Cloud Dataflow 配合使用

问题描述 投票:0回答:1

我有从 pubsub 读取消息的数据流作业,但是,它以错误的顺序处理元素,我使用窗口来获取最近的元素,但有时消息不会在窗口中提取。
有一件事对我来说可以工作的是按照到达顺序处理消息,但是从这篇文章中我读到了:

Cloud Pub/Sub 中的订购交付目前不适用于 Cloud Dataflow...

这篇文章写于 2020 年,在官方文档中我没有看到使用 pubsub 有序交付的限制
因此,有人知道数据流是否支持它吗?

google-cloud-dataflow apache-beam google-cloud-pubsub
1个回答
0
投票

Pub/Sub 的有序交付与 Dataflow 不兼容,不。如果您使用启用了有序交付的订阅启动 Dataflow 管道,您应该在日志中看到一条警告,指示虽然管道将运行,但顺序可能不会保留。

© www.soinside.com 2019 - 2024. All rights reserved.