从PySpark中的HDFS读取* .XLSX文件

Question

如何在PySpark中从HDFS读取xlsx文件？一种方法是将其转换为csv文件，但我有很多文件，我正在寻找其他方法。

Answer 1

我不认为你可以使用标准的火花库来做到这一点。您可能希望将此作为替代方案 - https://github.com/crealytics/spark-excel

Answer 2

您可以使用SparkFiles直接读取它们：

# spark is a SparkSession instance
from pyspark import SparkFiles

spark.sparkContext.addFile('hdfs:///user/bekce/myfile.xlsx')
with open(SparkFiles.get('myfile.xlsx'), 'rb') as handle:
    do_whatever(handle)