如何从String Spark Java列表的数据集创建字符串的数据集

问题描述 投票:0回答:1

我有一个字符串列表的数据集,我需要从上面创建一个新的数据集,并将列表的每个条目作为新数据集中的一行。

List<String> list = new ArrayList("abc", "def", "ghi");

Dataset<String> input = spark.createDataset(list,Encoders.bean(String.class));

新数据集将类似于:

"abc
def
ghi"

提前感谢

java apache-spark apache-spark-sql dataset spark-java
1个回答
0
投票

您可以使用flatmap将String列表转换为单个String。// flatMap每行到该行中的单词

JavaRDD<String> words = input.toJavaRDD().flatMap(s -> Arrays.asList(s.split(",")).iterator());
© www.soinside.com 2019 - 2024. All rights reserved.