是星火流,结构化数据流和卡夫卡流是一回事吗?

问题描述 投票:-2回答:1

我所遇到的三种流行的流媒体技术,是星火流,结构化数据流和卡夫卡流。我已经通过各种网站了,但没有得到这个答案,是这三个同样的事情还是不同?如果不一样是什么根本区别。我没有深入的答案寻找一个。但是回答上面的问题(是或否)和一点点介绍给他们每个人,这样我可以探索更多。 :)

在此先感谢Subrat

apache-spark spark-streaming apache-kafka-streams spark-structured-streaming
1个回答
1
投票

我想你指的是Kafka Streams当你说“卡夫卡流”。

Kafka Streams是JVM库,Apache的卡夫卡的一部分。它是在卡夫卡主题提供了一个抽象层中处理数据的方式。运行KafkaStreams库的应用程序可以运行在任何地方(不只是卡夫卡集群中,其实,这是不推荐)。他们会消费,加工和从卡夫卡集群产生的数据/。

Spark Streaming是Apache的火花分布式数据处理库中,提供料流(如oppposed到批)处理的一部分。火花最初只提供批次的计算,所以对于流处理被提供的特定层Spark Streaming。火花流可以与卡夫卡数据被馈送,但是它可以被连接到其他来源,以及。

Structured Streaming,阿帕奇星火的范畴,是来克服一定的局限性火花流是使用流式传输前一种方法的处理不同的方法。它被添加从特定版本起(2.0 IIRC)到火花。

© www.soinside.com 2019 - 2024. All rights reserved.