使用Java在Spark中进行映射

Question

我具有以下格式的文件名myFile：

1,A,2,B
1,A,3,C
2,B,4,D

我想将每行的第二个索引值映射到该行本身：

A -> 1,A,2,B
A -> 1,A,3,C
B -> 2,B,4,D

如何使用Spark Java实现此目的？

Answer 1

好像您正在读取CSV。自Spark 2.x起，Spark本身就支持这些功能。

不要使用SparkContext使用SparkSession

仅打印数据框，您需要这样的东西

spark.csv("C:\\myFile").show()