尝试将Google Cloud的最新插件上传到Data Fusion,但上传时出错

问题描述 投票:0回答:1

参考我之前的这篇文章:Possible to modify or delete rows from a table in BigQuery dataset with a Cloud Data Fusion pipeline?,我正在尝试提出建议的答案,以编译最新版本的Google Cloud Platform插件并上传到Data Fusion,以便我可以使用最新功能。

我们已经下载了代码,对其进行了编译,并获得了2个文件:

  • 谷歌云-0.13.0-SNAPSHOT.jar
  • 谷歌云-0.13.0-SNAPSHOT.json

在JSON文件中,父工件的最后几行是:

  },
  "parents": [
    "system:cdap-data-pipeline[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

最初,我去了Data Fusion并选择上传一个新插件,但是我得到了关于不存在的父构件的错误。因此,我进行了一些挖掘,发现当前在Data Fusion上使用的工件的版本为6.0.1:enter image description here

所以我将父工件修改为正确的版本,现在JSON文件中的最后几行显示:

  },
  "parents": [
    "system:cdap-data-pipeline[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

[当我尝试再次上传插件时,它似乎通过了工件检查步骤,但是在某种类检查中却失败了,我在上传屏幕上看到了这一点:enter image description here

检查插件的工件时找不到类。请检查依赖项是否可用,以及正确的父工件已指定。错误类别:类别java.lang.NoClassDefFoundError,消息:io / cdap / cdap / etl / api / validation / ValidationException。

所以现在我真的对这里的问题很迷失。我怀疑Data Fusion中使用的工件版本是否没有引发错误的类?如果是这样,我如何更新工件本身?

或者如果我在整个过程中还缺少其他东西,那么我将非常感谢对此的任何指导或支持!问候

maven google-cloud-data-fusion cdap
1个回答
0
投票

您可以尝试使用google-cloud插件存储库的release / 0.12分支。与Cloud Data Fusion 6.0版兼容。

© www.soinside.com 2019 - 2024. All rights reserved.