我有2个Dataset
s,每个有4列。
我的数据集:
'left':
a | b | c | d
1 | 2 | 3 | 4
'right':
a | b | c | e
1 | 2 | 3 | 5
我想要实现的目标:
a | b | c | d | e
1 | 2 | 3 | 4 | 5
我的代码:
left.join(right,left.col(a).equalTo(right.col(a))
.and(left.col(b).equalTo(right.col(b)))
.and(left.col(c).equalTo(right.col(c)))
)),"left");
我想将right
中的列'e'添加到left
,但我得到的回报是:
a | b | c | d | a | b | c | e |
我只得到标题的串联。 我从逻辑的角度思考我的查询是正确的,我显然没有向Spark询问如何执行连接。 有提示吗?
您可以使用以下内容进行联接。您只需要在corresspond时指定密钥列表
val df1 = Seq(
(1, 2, 3, 4)
).toDF("a", "b", "c", "d")
val df2 = Seq(
(1, 2, 3, 4)
).toDF("a", "b", "c", "e")
val df3 = df1.join(df2, Seq("a", "b", "c"), "left")