AWS Glue Scala - 将脚本拆分为多个 scala 文件

Question

我不明白如何将glue 脚本分割成几个scala 文件。我知道一个先决条件是引用“引用文件路径”中的“其他 scala 文件”并将其定义在自己的包中，以便在主胶水脚本中按如下方式导入它

import mypackage.FileConfig

object glueJob {

   def main(sysArgs: Array[String]) = {

   val obj = new FileConfig()
}

如前所述，FileConfig.scala 的 S3 ARN 将列在“引用文件路径”中，并且 FileConfig 将位于包 mypackage 中，例如

package mypackage

class FileConfig {
}

尽管如此，无论我如何尝试，Glue 都永远无法找到 FileConfig 类。有什么想法这里可能缺少什么吗？

Answer 1

• 仔细检查您为“引用文件路径”指定的 S3 ARN 是否指向 FileConfig.scala 文件的确切位置。任何拼写错误或丢失的详细信息都可能导致 Glue 找不到该文件。
• 检查 Glue 作业配置中是否存在任何冲突的类路径条目。
• 确保 FileConfig 类在 mypackage 包中声明，如您所提到的。
• 确保“引用文件路径”中指定的包名称与 FileConfig.scala 文件中的包声明匹配。
• Scala 包名称区分大小写。验证两个位置中包名称的大小写是否匹配。

请参阅 AWS 文档：AWS 文档提供了有关使用参考文件和打包进行 Glue 作业的详细信息。请参阅以下资源以获得进一步帮助： https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-scala.html