如何创建Spark活动以在HDInsight上运行Scala脚本？

Question

我想使用HDInsight执行Scala脚本。下面的文章描述了运行py脚本，但没有提到abt Scala。我按照文章（而不是py文件，上传Scala文件）但Azure DataFactory无法执行错误消息：

({
    "errorCode": "2312",
    "message": "Spark job failed, batch id:4",
    "failureType": "UserError"
}

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

Answer 1

要解决您的问题，您需要

1. 在ADF中打开管道
2. 点击你的火花活动
3. 转到脚本/ jar，打开Advanced
4. 将活动的“调试信息”设置为“始终”。

虽然您可以在管道失败后查看日志。 Adf将为您提供日志的URL。它将位于jar根目录中日志目录中的链接存储上。

检查日志以了解导致spark应用程序失败的原因。 See image from ADF

Answer 2

如果要执行用scala编写的spark代码，则必须调用Jar文件。如果它太复杂，那么你也可以使用数据库笔记本。如果您遇到问题，请告诉我