Databricks 中的 ThreadPoolExecutor 和驱动程序节点内存问题

Question

我正在使用线程池执行器并并行运行笔记本。然而，这些并行笔记本根本不使用执行器，所有负载都流向驱动程序节点，导致驱动程序节点内存不足并最终崩溃。

并行笔记本都是一样的，涉及创建巨大的熊猫数据框、火花数据框，并将它们附加到增量表中。我错过了什么？如何将负载重定向到执行程序节点？

我正在尝试使代码更加密集，但无法做到。我还能做什么？