Azure编辑器中的ML Spark工作

Question

目前我们在Azure HDInsight集群中使用ML pyspark作业（版本：HDI 3.6）。是否可以在Azure Databricks中使用相同的pyspark作业而无需进行太多更改？

提前致谢！

Answer 1

我会说是的，但要考虑以下事项：

• 确保HDInsight群集的Python和Spark版本与为群集选择的Databricks runtime类似或兼容。
• 你在使用任何外部库吗？如果是这样import it到您的工作区并将其附加到群集。
• 您为工作使用了哪些数据源？您可能必须将数据源安装到数据库工作区，例如安装blob存储（https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs）

我希望这些信息对您有所帮助

问候，

Juan