FARGATE上的AWS KCL检查点更新行为

问题描述 投票:0回答:1

我在FARGATE上部署了一个KCL(2.0 / Java)来读取多个分片。不幸的是我现在遇到两个问题我希望有人可以帮助我:

  1. FARGATE不允许正常关闭JVM。
  2. 从1开始,不更新DynamoDB上LeaseTable中的检查点值。 KCL应用程序的新实例将重新处理给定分片中的所有事件。

关于1,我已经发现SIGTERM与FARGATE之后存在一些日志记录问题,但由于shard检查点未更新,我认为存在一般问题,即避免运行关闭例程。

如果,对于2,有人知道是否有可能“手动”更新,例如每隔5分钟,检查点值,这将至少减少重复处理的事件的数量。

GENERALIZATION:什么时候(关机期间除外)KCL更新租赁表?

谢谢,gapvision

amazon-web-services aws-sdk amazon-ecs amazon-kinesis aws-fargate
1个回答
0
投票

事实证明

1)实际上是一个码头“问题”,并指向ENTRYPOINT模式:SIGTERM not received by java process using 'docker stop' and the official java image

2)是一个手动过程,没有内部触发检查点更新。需要显式调用checkpoint()方法才能更新指针

© www.soinside.com 2019 - 2024. All rights reserved.