如何使用 Glue 作业将 JSON 从 s3 转换为 CSV 文件并将其保存在同一个 s3 存储桶中

Question

请帮助我完成编码部分

我用谷歌搜索了代码，但它只显示使用 lambda 处理程序。我的项目需要使用gluejob。

Answer 1

在这里您可以找到将 json 转换为 csv 的答案。

GlueContext glueContext = new GlueContext(Spark.getActiveSession())

val jsonDf = glueContext.getSource(
      connectionType = "s3",
      connectionOptions = JsonOptions(Map("paths" -> "s3://:sourcePath/data.json")),
      format = "json",
      transformationContext = "jsonDf"
    )

val dataDf = jsonDf.toDF()
val csvRDD = dataDf.repartition(1).rdd.map(_.mkString(","))
csvRDD.saveAsTextFile("s3://sourcePath/data.csv")