如何在利用 Apache Flink 中的广播状态模式和多个并行性的同时保持事件流（实时）的顺序？

Question

寻求有关在具有多个并行实例的 Apache Flink 中使用广播状态模式时维护实时事件流中的事件顺序的建议。 Flink 处理的并行特性给确保正确的事件排序带来了挑战。寻找见解、最佳实践或代码示例来处理此上下文中的事件顺序。

Answer 1

我的典型方法是从并行度为 1 的运算符进行广播，以便不必担心这一点。

考虑到广播状态的限制（它必须保存在堆上，并且每个并行实例都会检查自己的副本），无论如何保持广播状态的大小相当小是明智的，因此将广播源限制为单个实例从来没有感到非常受限。

如果您确实必须从多个并行源进行广播，则无法保证顺序。