我有两个数据框
数据框架--房屋(地址、号码、邮编)
adress 1, 28, 04030
adress 2, 01, 25040
数据框架--人(姓名、地址、年龄)
Miki , adress 1, 15
Sterling , adress 2, 20
Archer, adress 2, 25
我需要把它们都加入到第三个数据框--Filled_HouseHouse(adress, number, zipcode, member1, member2, member3, member4)中,就像
adress 1, 28, 04030, Miki, null, null, null
adress 2, 01, 25040, Sterling, Archer, null, null
在 Scala+Spark 我相信使用map和group by可以解决,但我没有找出合适的方法。
谢谢你的时间!我有两个数据框
使用
val peopleUnified = people.groupBy("address").agg(collect_list("name")
我得到了
adress 1, Miki
adress 2, [Sterling, Archer]
所以下一步就是将创建的列表拆分,并在成员字段中填入join