我正在开发一个 AWS MSK 消费者项目，我希望在部署到 EMR 之前开发/测试我的应用程序。但是我不知道如何配置我的本地以从我的 MSK kafka 集群（位于 VPC 中）使用。
我尝试阅读我对卡夫卡经纪人的订阅和特定主题。
streaming_query = spark.readStream.format("kafka").option("<kafka-brokers>").option("subscribe",input_topic).load()
您的代码是正确的。您有多个具有不同端口/地址的选项，具体取决于代码运行的位置。
https://docs.aws.amazon.com/msk/latest/developerguide/client-access.html
我建议您添加一个 CLI 标志/枚举/布尔变量来确定您在本地或 VPC 内执行代码的位置