Scala - 连接数据框关系1到n。

问题描述 投票:0回答:1

我有两个数据框

数据框架--房屋(地址、号码、邮编)

adress 1, 28, 04030
adress 2, 01, 25040

数据框架--人(姓名、地址、年龄)

Miki , adress 1, 15
Sterling , adress 2, 20
Archer, adress 2, 25

我需要把它们都加入到第三个数据框--Filled_HouseHouse(adress, number, zipcode, member1, member2, member3, member4)中,就像

 adress 1, 28, 04030, Miki, null, null, null
 adress 2, 01, 25040, Sterling, Archer, null, null

Scala+Spark 我相信使用map和group by可以解决,但我没有找出合适的方法。

谢谢你的时间!我有两个数据框

sql scala dataframe apache-spark one-to-many
1个回答
0
投票

使用

val peopleUnified = people.groupBy("address").agg(collect_list("name")

我得到了

adress 1, Miki
adress 2, [Sterling, Archer]

所以下一步就是将创建的列表拆分,并在成员字段中填入join

© www.soinside.com 2019 - 2024. All rights reserved.