是否可以使用 Kinesis 流作为 Spark 结构化流的数据源?我找不到任何可用的连接器。
Qubole 有一个 kinesis-sql 库正是用于此目的。
https://github.com/qubole/kinesis-sql
然后您可以使用与任何其他 Spark 结构化流源类似的源:
val source = spark
.readStream
.format("kinesis")
.option("streamName", "spark-source-stream")
.option("endpointUrl", "https://kinesis.us-east-1.amazonaws.com")
.option("awsAccessKeyId", [YOUR_AWS_ACCESS_KEY_ID])
.option("awsSecretKey", [YOUR_AWS_SECRET_KEY])
.option("startingPosition", "TRIM_HORIZON")
.load
这是另一个支持 EFO 的 Spark Structured Streaming kinesis 连接器 https://github.com/awslabs/spark-sql-kinesis-connector/