将 pyspark 数据帧转换为 json 文件

Question

我下面有一个数据框，想将该内容写入

.json

文件。

在创建输出文件时，我不需要成功部分日志文件，因此我尝试从数据帧收集（）值并使用

json_dumps()

来创建文件。但我丢失了列名称和格式，而不是图片中的预期格式

请帮忙！

Answer 1

使用 Json Normalize 并解决了问题

Answer 2

如果您实际上可以收集数据帧，那么我建议将其转换为 pandas 数据帧并使用带有适当参数的 to_json 方法。这样您甚至可以控制文件的名称。

查看此链接以获取有关 pandas.DataFrame.to_json 方法的更多详细信息。 https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_json.html