我有大量来自kafka主题的数据。转换（某些数据已加密，我不需要所有信息）并将部分数据加载到 AWS 上的 RDS 数据库中的最佳方法是什么。我尝试过使用 lambda 来实现这一点，但由于数据量很大，这是不可能的。我一直建议通过 JDBC 接收器连接器来完成此操作，但我不确定所有步骤。任何解释都会派上用场:)
尝试使用 lambda，但数据量刚好阻塞了 lambda。
您需要运行一个 Connect 集群（kafka-connect 是 Confluence 平台的一部分，可以在虚拟机、Docker 容器、Kubernetes 上自托管。或者，它是 Confluence 完全托管服务的一部分Confluence Cloud）
首先根据 Confluence 文档考虑进入 Connect 生态系统。它并不是超级复杂，因为它抽象了很多消费者/生产者概念并将其包装到一个简单的 JSON 配置文件中，这就是您部署的全部内容。
连接器及其配置属性记录在此处：https://docs.confluence.io/kafka-connectors/jdbc/current/sink-connector/overview.html
那么您应该研究一下可以在连接器级别应用的 SMT（单一消息转换）。如果您已经部署了 Connect，这应该可以让您在写入 RDS 之前轻松转换数据（可以轻松地在单个实例上部署）