flink 1.16 使用 flink-doris-connnect-1.14 包接收 doris,为什么运行缓慢?

问题描述 投票:0回答:1

我使用的是 Flink 1.16 版本,并通过 Maven 合并了 Flink Doris Connector 1.14 包。当尝试将包含 30,000 条记录的一批数据下沉到 Doris 数据库时,该过程大约需要 3 分钟。令人惊讶的是,当我切换到 Flink 1.13 版本时,相同的操作在大约三秒内完成。

我预计使用 Flink 1.16 到 Doris 的数据下沉过程将在几秒内完成,而不是几分钟,类似于 Flink 1.13 观察到的性能。

我在使用Flink 1.13时没有遇到这个问题。我尝试通过检查 Flink 和 Doris Connector 之间的版本兼容性、检查配置更改以及利用性能监控工具来调查该问题。但是,我还没有找到解决问题的方法。

您能否提供有关解决此性能差异并使用 Flink 1.16 和 Doris Connector 1.14 实现更快数据接收时间的指导?

感谢您的协助。

http jdbc apache-flink data-warehouse apache-doris
1个回答
0
投票

使用不匹配版本的 Flink 连接器从来都不是一个好主意。您可以从 GitHub 下载为 Flink 1.16 构建的 Doris 连接器版本:https://github.com/apache/doris-flink-connector/releases

© www.soinside.com 2019 - 2024. All rights reserved.