在pyspark中创建rdd的rdd

Question

是否可以在pyspark中创建rdd的rdd？我尝试过

rdd1=sc.parallelize([1,2,3])
rdd2=sc.parallelize([4,5,6])
rdd3=sc.parallelize([rdd1,rdd2])

出现错误

Answer 1

UNION方法可用于执行此操作

rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([4, 5, 6])
rdd3 = sc.parallelize([7, 8, 9])

rdd = sc.union([rdd1, rdd2, rdd3])
rdd.collect()

## [1, 2, 3, 4, 5, 6, 7, 8, 9]

作为旁注，现在建议使用DataFrame或Dataset API。

Answer 2

您可以加入2个RDD's>

rdd1.join（rdd2）