在 Pyspark 数据帧写入中使用 noop 格式

Question

有人可以告诉我该命令的用途/工作原理吗

data.write.format("noop").mode("overwrite").save()

于 Pyspark 3.0？

Answer 1

当您需要模拟没有任何数据的写入时，“noop”命令很有用，例如，假设您想检查作业的性能，但您只想检查保存到存储的效果而不执行此操作正确地。

Answer 2

write类中format模块内部的noop用于触发操作，但并不有效写入结果。 如上所述，可用于检查查询的性能，以检查是否存在分区倾斜，或者只是检查一切是否按预期工作