调用o430.save时发生错误

Question

保存 DataFrame 时出错：调用 o430.save 时出错。 ：org.apache.spark.SparkException：作业因阶段失败而中止：阶段16.0中的任务0失败4次，最近一次失败：阶段16.0中丢失任务0.3（TID 71）（10.130.9.4执行器驱动程序）：org.apache .spark.SparkException：[TASK_WRITE_FAILED] 将行写入 abfss://[电子邮件受保护]/EP/delta/sales_history 时任务失败。

以 Delta 格式写入 df 时，出现上述错误。

突然遇到这样的问题。如何修复错误

Answer 1

这可以是任何东西。最有可能的是，如果您的作业正在运行，突然抛出异常，那么驱动程序节点上可能会出现 OOM (OutOfMemory)。如需进一步调查，您需要调查 DAG 及其日志记录。