使用python将数据从kafka发送到s3

Question

对于我当前的项目，我正在使用 Kafka (python)，并想知道是否有任何方法可以将流式 Kafka 数据发送到 AWS S3 存储桶（不使用 Confluence）。我从 Reddit API 获取源数据。

我什至想知道 Kafka+s3 是否是存储将使用 pyspark 处理的数据的良好组合，或者我应该跳过 s3 步骤并直接从 Kafka 读取数据。

Answer 1

Kafka S3 Sink 连接器不需要“使用 Confluence”。它完全免费、开源，可与任何 Apache Kafka 集群配合使用。

否则，当然，Spark 或普通 Kafka Python 消费者可以将事件写入 S3，但您还没有清楚地解释数据在 S3 中时会发生什么，所以也许可以从直接处理来自 Kafka 的数据开始