地图功能里面调用SQL SPARK

Question

在我的代码我有，我需要调用SQL火花为每一个dataset的行的要求。

现在，火花SQL要求SparkSession地图功能，这是不可能通过作为广播可变的内部。

所以，反正是有叫map function内星火SQL？

我在网上查，但我没能找到与相同的任何信息。

我使用Java作为SPARK一种编程语言。

SPARK版本：2.3.0

提前致谢。

Answer 1

地图适用于Dataset的每一项功能并返回另一个Dataset。你所需要的就是迭代上有org.apache.spark.api.java.function.ForeachFunction每一个项目。然后，你可以为每个项目执行火花SQL。

例：

data.foreach((ForeachFunction<Row>) row -> System.out.println(row));