Apache Spark读取Json流仅返回Null

Question

[嗨，我是Spark＆Scala的新手。我已经开始编写应用程序，它将读取json文件并在控制台中打印基质。但是它总是将值打印为Null。

这是我尝试过的程序。

val spark: SparkSession = SparkSession.builder()
      .master("local[3]")
      .appName("Demo")
      .getOrCreate()

    val userSchema = new StructType()
      .add("name", "string")
      .add("age", "integer")


    val df = spark.readStream
      .schema(userSchema)
      .json("/home/sajith/Desktop/temp_data/demo/cpy/")

    df.printSchema()

    df.writeStream
      .format("console")
      .start()
      .awaitTermination()

这是示例Json文件

{
 "name":"Sajith", 
 "age": 55
}

当我将json文件放到目录时，它给出此结果。

Answer 1

原因是json数据需要为单行。

{"name":"Sajith","age":55}