spark数据集中的安全类型是什么意思?

问题描述 投票:3回答:1

我试图了解数据集和数据框架之间的区别,并找到了以下有用的链接,但是我无法理解类型安全是什么意思?

Difference between DataFrame (in Spark 2.0 i.e DataSet[Row] ) and RDD in Spark

apache-spark apache-spark-sql
1个回答
0
投票

类型安全是Spark 2.0中的高级API。

我们需要此API在数据集中的行上执行更复杂的操作。

例如...

departments.joinWith(people,department(“ id”)=== people(“ deptId”),“ left_outer”)。show

© www.soinside.com 2019 - 2024. All rights reserved.