基于实时应用的纱线与Spark处理引擎？

Question

我了解Yarn和Spark。但是我想知道何时需要使用Yarn和Spark处理引擎。有哪些不同的案例研究可以识别纱线和火花之间的区别？

Answer 1

您无法直接将每个说话的Yarn和Spark进行比较。 Yarn是分布式容器管理器，例如Mesos，而Spark是数据处理工具。 Spark可以在Yarn上运行，就像Hadoop Map Reduce可以在Yarn上运行一样。恰好发生在没有Spark的情况下，Hadoop Map Reduce是Yarn附带的功能。

如果您打算比较Map Reduce和Spark，建议阅读this other answer。

Answer 2

Apache Spark可以在YARN，MESOS或StandAlone模式下运行。

处于StandAlone模式下的火花-这意味着所有资源管理和作业调度都将由Spark内置照顾。

YARN中的火花-YARN是MRV2中引入的资源管理器，它不仅支持本机hadoop，还支持Spark，Kafka，Elastic Search和其他自定义应用程序。

[C0中的火花-Spark也支持Mesos，这是资源管理器的另一种类型。

Spark on YARN的优点

• YARN允许您在YARN上运行的所有框架之间动态共享和集中配置相同的群集资源池。
• YARN调度程序可用于Spark作业，只有使用YARN，Spark才能针对Kerberized Hadoop集群运行并在其进程之间使用安全身份验证。

Mesos

我们可以得出这样的结论，如果您要构建一个独立于所有事物的小型且简单的集群，那就可以独立使用。如果要使用现有的hadoop集群，请使用YARN / Mesos。