如何阅读从主题到Spark Streaming的Kafka gzip压缩消息

问题描述 投票:2回答:1

我确实看到我们需要在生产者端进行更改以使用Gzip压缩,但我不确定如何在阅读消息时解压缩。请了解一下从哪里开始。我已经结束了End Streaming为未压缩的消息工作。

谢谢

apache-spark apache-kafka spark-streaming kafka-consumer-api
1个回答
2
投票

看起来消费者无缝地关注减压。你不需要做任何事情。您所要做的就是使用设置“compression.codec”配置producer。

请看看this link

© www.soinside.com 2019 - 2024. All rights reserved.