我在java中有一个List
List<Map<String,Object>> list=new ArrayList<>();
Map<String, Object> map=new HashMap<String, Object>();
map.put("id", 1);
map.put("name","tom");
list.add(map);
我想将其转换为scala中的Sparkframe,如何做到这一点?
我的实际情况是使用mybatis而不是spark jdbc,因为我认为spark不使用pool,我使用mybatis获取数据List并将其转换为spark Dataframe进行计算。
我知道我可以将scala Seq转换为Dataframe:
Seq((1)).toDF("id")
并且还知道如何将java List<String>
转换为scala Seq
但我不知道如何转换java List<Map<String,Object>>
列表到Df:
DataFrame df = sqc.createDataset(data,Encoders.STRING())。toDF();