我在本地运行 Spark 时遇到 *.csv 读取多个 csv 文件的问题。执行不会停止
staticDataFrame = spark.read.format("csv")\
.option("header", "true")\
.option("inferSchema", "true")\
.load("./data/retail-data/by-day/*.csv")
staticDataFrame.createOrReplaceTempView("retail_data")
staticSchema = staticDataFrame.schema
我尝试在 colab 上测试相同的脚本,它有效。不知道是安装问题还是windows问题。 我也尝试过将文件数量减少到一个文件,但也没有成功。
您忘记添加
spark.stop()
。
试试这个:
staticDataFrame = spark.read.format("csv")\
.option("header", "true")\
.option("inferSchema", "true")\
.load("./data/retail-data/by-day/*.csv")
staticDataFrame.createOrReplaceTempView("retail_data")
staticSchema = staticDataFrame.schema
spark.stop()