基于 S3 事件的多个文件触发器

Question

我正在尝试为存储桶编写基于 S3 事件的触发器。我正在考虑一旦数据集被删除就会触发事件。问题是有超过 140 个数据集在不同的时间和日期被放入 S3 存储桶中。

文件的格式为 file_name_date.parquet ( file_name_20240322.parquet)，file_name 始终相同，但日期始终不同。不确定这是否有意义。

Answer 1

您似乎在说：

• 许多文件已上传到 Amazon S3 存储桶
• 上传“所有”文件后，您希望触发 AWS Lambda 函数
• 但是，Lambda 函数会为创建的每个对象触发

这里的问题是知道“所有”文件何时上传。

处理此问题的一个好方法是向正在上传文件的系统添加一个操作，以便在上传所有文件后，它会上传一个具有特殊文件名的额外文件，或者最好在不同的目录中上传。然后可以使用这个“额外文件”来触发您的下一个流程。

• 对于具有“特殊文件名”的文件，您实际上会在每次对象创建时触发 Lambda 函数，但 Lambda 函数将检查文件名作为第一个操作。如果它不是“特殊文件名”，那么它会立即退出（成本非常低）。 对于在不同目录中创建的
文件
• ，您只需将 S3 事件配置为仅在该不同目录上触发。