在现有交互式数据块群集上的dbfs上执行pyspark代码

Question

我正在使用Azure Databricks。目前，我的Pyspark项目在“ dbfs”上。我配置了spark-submit作业来执行我的Pyspark代码（.py文件）。但是，根据Databricks文档，提交火花的作业只能在新的自动集群上运行（可能是设计使然）。

是否可以在现有的交互式群集上运行我的Pyspark代码？

我还试图从％sh单元中的笔记本计算机运行spark-submit命令，无济于事。

Answer 1

默认情况下，在创建作业时，集群类型被选择为“ 新的自动集群”。

您可以配置群集类型以在自动群集还是现有交互式群集之间进行选择。

配置作业的步骤：

选择作业=>单击群集=>编辑按钮，然后选择“ 现有交互式群集”，然后选择群集。