如何在Java中使用cdc从s3读取文件？

Question

我想从 s3 读取文件。此外，如果在存储桶中创建了新文件，那么应用程序就会知道更改并按照 cdc 的方式摄取它们。

如何使用Java实现这一点？我在网上没有得到任何信息，这可能吗？

请注意，每次使用

getObject

或

listObject

来跟踪新事件并不是我想要的，因为它看起来很慢。那么如何实现呢？

而且，我不想使用任何其他第 3 方基础设施，例如 kafka。

我只想使用java应用程序来使用来自s3的数据以及新事件。

任何想法将不胜感激。

谢谢，

Answer 1

看这里：S3 活动
您可以在您的应用程序中使用大量 CDC 事件。
这是您需要做的：

1. 在 AWS 控制台中创建 S3 存储桶。
2. 我建议使用 SQS 来确保事件传递到 Java 应用程序。 配置SQS
3. 在该存储桶上启用通知。 如何启用通知
4. 使用 AWS SDK 从您的应用程序访问 S3 和 SQS：访问 S3 和 从 SQS 接收消息

您可以在此处找到所有 S3 事件类型 支持的通知事件类型