我在列中有8192个不同的条目,并希望重新分区我的数据帧,以便每个分区仅包含1个不同值的值。
使用重新分区并将列名作为参数,我看到8192分区中的3000个为空。使用spark 1.6.2时我没有遇到这个问题,但是火花2.2及以上似乎有这个问题。