Spark read.parquet花费了太多时间

Question

嗨，我不明白为什么这段代码需要太多时间。

val newDataDF = sqlContext.read.parquet("hdfs://192.168.111.70/u01/dw/prod/stage/br/ventas/201711*/*")

假设没有字节传输到驱动程序，不是吗？ read.parquet是如何工作的？

我从Spark Web UI可以看到，read.spark会触发大约4000个任务（该文件夹中有很多镶木地板文件）。

Answer 1

问题很可能是作为加载DataFrame的第一步必须发生的文件索引。你说spark.read.parquet会启动4000个任务，所以你可能有很多分区文件夹？ Spark将获得HDFS目录列表，并递归获取每个文件夹中所有文件的FileStatus（大小和拆分）。为了提高效率，Spark并行索引文件，因此您需要确保拥有足够的内核以使其尽可能快。您还可以在要读取的文件夹中更明确，或者在数据上定义Parquet DataSource表，以避免每次加载时发现分区。

spark.sql("""
create table mydata
using parquet
options(
  path 'hdfs://192.168.111.70/u01/dw/prod/stage/br/ventas/201711*/*'
)
""")

spark.sql("msck repair table mydata")

从现在开始，当您查询数据时，它将不再需要进行分区发现，但它仍然需要为您查询的文件夹中的文件获取FileStatus。如果添加新分区，您可以显式添加分区强制再次填充repair table：

spark.sql("""
alter table mydata add partition(foo='bar')
location 'hdfs://192.168.111.70/u01/dw/prod/stage/br/ventas/201711/foo=bar'
""")