为什么要读取 parquet 文件在 Spark UI 中创建作业？

Question

我正在使用此语句读取pyspark中的parquet文件（稍后不使用任何显示功能或显示方法）。当我转到 Spark UI 时，我可以看到正在创建一个作业。不使用任何操作如何在 Spark 中创建工作？

df = spark.read.format("parquet").load("/C:/Users/username/Downloads/MTcars.parquet")

以下是 Spark UI 的作业部分中可见的内容。

Answer 1

spark.read 是一个转换，它创建一个 DataFrameReader 对象，但 load 是一个触发 dataframereader 创建作业并读取 parquet 文件并返回 Dataframe 对象的操作。