我正在从 csv 文件读取数据并存储到 parquet 文件中,在将数据保存到 parquet 文件中时,正在创建一个空文件夹(文件夹名称为 test.parquet)并且未创建 parquet 文件
我收到以下错误
ERROR FileFormatWriter: Aborting job f2349e7c-a6e3-43eb-af25-f09ad99ea682.
这是我的代码
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()
csv_file = "C:\\folder\\file.csv"
df_data = spark.read.csv(csv_file, header=True, inferSchema=True)
df_data.show()
new_parquet_file = "C:\\folder2\\test.Parquet"
df_data.write.mode("overwrite").format("parquet").save(new_parquet_file)
任何人都可以帮助我为什么没有创建镶木地板文件并且使用镶木地板文件名创建一个空文件夹