如何将sql转换为spark数据集？

Question

我有一个Val test = sql（“select * from table1”），它返回一个数据帧。我想将它转换为无效的数据集.test.toDS抛出错误。

Answer 1

请提供有关错误的更多详细信息。

如果要在数据集中转换数据帧，请使用以下代码：

case class MyClass(field1: Int, field2: Long) // for example

val df = sql ("Select * from table1)
val ds : Dataset[MyClass] = df.as[MyClass]