如何将 S3 中的事件文件从 Kinesis 流拆分成小块？

Question

我有一个收集器正在将事件写入我的 S3 存储桶，然后我需要使用 COPY 命令将这些数据加载到 AWS Redshift 中。这些事件来自 SendGrid 和大约 11 个主题，SendGrid 提供了 11 个表 DDL。事件文件在一个文件中包含 11 个主题，我需要根据它们的内容将它们分成 11 个部分，然后执行 COPY 命令来实现我的目标。

试图使用 AWS lambda 创建函数来做到这一点，但 Python 技能有限，无法处理它。

我不会把事件文件的所有内容放在那里，就是例子。一对 {} 中的每个部分都需要加载到 redshift 中的一个表中，它们的“事件”值将是目标表。（已处理、延迟等...）

Answer 1

你能解决这个问题吗？我在尝试做类似的事情时遇到了麻烦。谢谢