将java的map列表转换为scala中的spark数据帧

问题描述 投票:-3回答:1

我在java中有一个List

List<Map<String,Object>> list=new ArrayList<>();
Map<String, Object> map=new HashMap<String, Object>();
map.put("id", 1);
map.put("name","tom");
list.add(map);

我想将其转换为scala中的Sparkframe,如何做到这一点?

我的实际情况是使用mybatis而不是spark jdbc,因为我认为spark不使用pool,我使用mybatis获取数据List并将其转换为spark Dataframe进行计算。

我知道我可以将scala Seq转换为Dataframe:

 Seq((1)).toDF("id")

并且还知道如何将java List<String>转换为scala Seq但我不知道如何转换java List<Map<String,Object>>

scala apache-spark dataframe
1个回答
-1
投票

列表到Df:

DataFrame df = sqc.createDataset(data,Encoders.STRING())。toDF();

© www.soinside.com 2019 - 2024. All rights reserved.