您如何使用Azure Databricks活动在Azure Data Factory中执行python Wheel类/方法（不是脚本）？

Question

是否有可能使用Azure Databricks活动在Azure数据工厂中执行python Wheel类/方法（不是脚本），就像如果它是.jar中的java打包方法那样，您将执行该操作？与脚本不同，它可以返回值，而无需执行将其埋入标准输出的操作。

我一直无法搜索任何内容，因此我尝试使用jar活动时没有运气，这并不令我感到惊讶，但值得一试。

如果没有，我正在寻找一种使用Azure Databricks计算并从python作业返回一小套值的方法。我已经成功地将ADF活动用于databricks python脚本。

TIA！

Answer 1

[创建使用python任务的数据工厂管道，并将其指向您的py文件。您也可以传递参数。

您也可以使用导入该库的笔记本执行此操作。

此博客文章（及其系列文章）应该对https://datathirst.net/blog/2019/9/20/building-pyspark-applications-as-a-wheel有所帮助