人们在谈论Hadoop,Spark和大数据时,“中间结果”是什么意思?

问题描述 投票:0回答:1

我正在尝试学习更多有关大数据的知识,特别是在利用Hadoop和Spark方面。但是,我一直看到这个术语是“中间结果”,我不确定它指的是什么。

例如,我读到“ Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将这些结果保留在内存中。”我以为这是指Map Reduce之后的结果,但我不太确定。

有人可以详细介绍一下什么是“中间结果”,以及它们在Spark和Hadoop之间如何变化?

apache-spark hadoop mapreduce
1个回答
0
投票

在映射阶段和归约阶段之间,对正在处理的数据执行了随机和排序操作,这是整个操作的中间部分

© www.soinside.com 2019 - 2024. All rights reserved.