如何有效地重新分配火花2.2

问题描述 投票:0回答:1

我在列中有8192个不同的条目,并希望重新分区我的数据帧,以便每个分区仅包含1个不同值的值。

使用重新分区并将列名作为参数,我看到8192分区中的3000个为空。使用spark 1.6.2时我没有遇到这个问题,但是火花2.2及以上似乎有这个问题。

apache-spark partition
1个回答
© www.soinside.com 2019 - 2024. All rights reserved.