Spark vs MapReduce,为什么Spark比MR快,原理?

问题描述 投票:4回答:2

据我所知,Spark将数据从每个节点的磁盘(HDFS)预加载到每个节点的RDD中进行计算。但是据我猜测,MapReduce必须从HDFS加载数据到内存,然后在内存中进行计算。那么..为什么Spark更受欢迎?只是因为MapReduce每次在MapReduce想要执行计算但Spark预加载数据时都会将数据加载到内存中?非常感谢。

据我所知,Spark将数据从每个节点的磁盘(HDFS)预加载到每个节点的RDD中进行计算。但据我猜想,MapReduce还必须将数据从HDFS加载到内存中,然后在内存中进行计算。所以....
hadoop mapreduce apache-spark
2个回答
0
投票
Spark使用了一种弹性分布式数据集(RDD)的概念,它允许将数据透明地存储在内存中,并在需要时将其持久保存到磁盘上。

0
投票
Hadoop Map Reduce
© www.soinside.com 2019 - 2024. All rights reserved.