按火花组分组

Question

我有一个数据框，有4列qazxsw poi，qazxsw poi，qazxsw poi和co1。我需要：

• 基于关键col2和col3对数据帧进行分组
• 然后将其他列分组，如col4和col1，并显示col2和col3的计数。

输入

col4

产量

col3

这可能吗？

Answer 1

这种情况适合col4操作。你可以使用

col1 col2 col3 col4
 1    1    2    4
 1    1    2    4
 1    1    3    5

提供的实现作为

col1 col2 col_name col_value  cnt
1     1    col3      2         2
1     1    col3      3         1
1     1    col4      4         2
1     1    col4      5         1

到melt。

ahue

Answer 2

这是一种适用于任意数量的键列和值列的方法（请注意，示例数据集已经扩展用于说明目的）：

an answer

Answer 3

我们可以使用groupBy和union来实现这一点。

How to melt Spark DataFrame?