flink 1.14升级到1.18时Zookeeper超时

Question

我正在将 flink 从 1.14 升级到 1.18

我在 flink-conf.yaml 中有 flink HA Zookeper

flink-conf.yaml

high-availability.type: zookeeper
high-availability.storageDir: file:///opt/flink/state_dir/ha/
high-availability.zookeeper.quorum: zookeeper1:2181
high-availability.zookeeper.path.root: /flink_ns1
high-availability.cluster-id: /default_ns1
high-availability.jobmanager.port: 6123
high-availability.zookeeper.client.connection-timeout: 30000
high-availability.zookeeper.client.max-retry-attempts: 10
high-availability.zookeeper.client.retry-wait: 30000

在 flink 1.14 中，我对 Zookeeper 没有任何问题，但在 flink 1.18 中，我收到此错误

我需要更新 Zookeeper 中的设置吗？

查找有关 Zookeeper 超时的答案

Answer 1

如果我正确地读取了您的堆栈跟踪，则看起来正在运行的作业正在引用 Zookeeper 3-3.8.3，这可能会导致问题，因为 Flink 版本控制的重大更改通常会放弃对旧版本依赖项（如 Zookeeper）的支持，要求您也要更新它们以确保它们受到支持。

Flink 1.15 在其发行说明中明确提到放弃对旧版本 Zookeeper 的支持：

不再支持使用 Zookeeper 3.4 实现 HA。依赖Zookeeper的用户需要升级到3.5/3.6。默认情况下，Flink 现在使用 Zookeeper 3.5 客户端。

Flink 1.17 发行说明

还提到了 Zookeeper 本身是如何捆绑在发行版本身中的，这可能与您当前的问题无关，但值得一提，因为您已经跳过了几个版本：

Flink 发行版不再捆绑 2 个不同的 Zookeeper 客户端 jar（一个在 lib 中，一个在 lib/opt 中）。相反，只有 1 个客户端将捆绑在 flink-dist jar 中。这对支持的 Zookeeper 服务器版本没有影响。

我怀疑您可能需要考虑升级 Zookeeper，以确保它运行在与您目标的 Flink 版本兼容的版本上。如果仍然失败，您可能需要考虑发布有关您的特定设置/部署/版本的更多详细信息。