是否可以设置 Kafka 在主题中接收带有上传到 Google Storage 的文件名称的消息？

Question

连接器只允许我读取 json、avro、字节和字符串格式。但是，如果到达的 pdf 文件需要由通过与云运行关联的图像执行的脚本进行处理，您对如何执行此操作有任何想法吗？

（不使用pub sub与kafka通信）

Answer 1

我推荐以下解决方案：

1. 使用 kafka connect 列出 gcs 文件，特别是 kafka-connect-file-pulse 连接器。 https://streamthoughts.github.io/kafka-connect-file-pulse/docs/getting-started/

2.您可以使用将发布到 Kafka 的上传文件中的元数据，然后使用来自 Cloudrun 上运行的客户端订阅者的 Kafka 消费者的文件名消息。

希望对你有帮助