Python pyspark将DF写入.csv并将其存储在本地c驱动器中

Question

我想保存一个使用SQLContext提取数据的数据框，并将其保存到c驱动器中的.csv文件中。我正在使用Zeppelin运行我的代码。

以下代码运行，但是在指定的位置看不到文件。 SQLContect中的选择查询正在从HIVE DB中提取数据。

%spark.pyspark

df = sqlContext.sql("SELECT * from TEST")
df.write.format("csv").mode("overwrite").save("\Users\testuser\testfolder\test.csv")

z.show(df)

Answer 1

如果我正确安装，您在Windows中。在这种情况下，您需要在路径中添加所需的前缀。您的路径将类似于C:\Users\testuser\testfolder\test.csv