Kafka 连接任务优雅停止失败

问题描述 投票:0回答:1

上下文:使用kafka connect 7.4.0从Postgres视图读取数据并写入另一个Postgres表。

一切都很好,但每当我通过其余 api 停止源连接器时,我总是得到:

Graceful stop of task (task-name-here) failed.

有趣的是,只是任务本身无法正常关闭。连接器本身确实如此,因为我的日志条目比上面的早了几毫秒:

Graceful stop of connector (connector-name-here) succeeded.

连接器使用以下方式关闭:

DEL http://kafka-connect:8083/connectors/connector_name_here

sink 连接器和任务关闭得很好。只是 source 任务失败了。

超时时间已增加,但没有帮助:

task.shutdown.graceful.timeout.ms=60000


连接器肯定没有运行(即从源数据库读取数据),导致操作已经完成相当长一段时间了。连接器设置为每天运行一次,以在夜间加载数据。

offset.flush.interval.ms=10000

 在开发和集成环境中。
offset.flush.interval.ms=60000
在生产和uat中。

它发生在所有环境中。

知道为什么任务无法正常关闭吗?这被记录为错误,我需要在我们的警报系统中消除这些误报。

apache-kafka apache-kafka-connect
1个回答
0
投票
联系 kafka 用户邮件列表后,该问题可能是由于 Kafka Connect 中的更改引起的,该更改与向任务执行停止信号的线程相关。 Kafka connect JDBC 还没有适应这个变化。

kafka-connect-jdbc 存储库中已提出

问题。

© www.soinside.com 2019 - 2024. All rights reserved.