无法使用收集RDD

问题描述 投票:0回答:1

[请问有人知道这行代码有什么错误吗?花费数小时进行搜索,但未成功解决。预先感谢你,

labels = RDD.map(lambda (a, b): a).collect()

语法错误

python dataframe apache-spark rdd
1个回答
0
投票

[如果您使用的是python 3,可能是python 3不支持的tuple unpacking。也可以检查此thread

假设您有元组rdd:

RDD = spark.sparkContext.range(0, 1).map(lambda a: (a, a))

以下代码将失败,并显示SyntaxError:无效的语法

RDD.map(lambda (a, b): a).collect()

但是这将正常工作:

RDD.map(lambda a: a[1]).collect()
© www.soinside.com 2019 - 2024. All rights reserved.