如何从Azure HDInsight上的Zeppelin笔记本中的自定义.jar文件导入包

问题描述 投票:0回答:1

我在这里关注文档:

https://zeppelin.apache.org/docs/latest/usage/interpreter/dependency_management.html

使用Azure HDI 4.0群集上的Zeppelin笔记本,我想从自定义.jar文件导入包。我已将.jar文件的副本放置在群集的默认存储帐户中,但无法弄清楚如何将正确的路径指定为依赖项。

Trying to add the .jar file as a dependency

我尝试了以下路径:

wasbs://@..blob.core.windows.net/

https://.blob.core.windows.net/container/

在所有情况下,我都被告知该路径/文件不存在。我想念什么?

scala apache-spark jar apache-zeppelin hdinsight
1个回答
0
投票

确保您传递了自定义jar的正确路径。

您可以通过多种方式从HDInsight群集访问Data Lake Storage中的文件。 URI方案提供未加密的访问(带有wasb:前缀)和SSL加密的访问(带有wasbs)。我们建议即使在访问Azure中位于同一区域内的数据时,也尽可能使用wasb。

使用完全限定名称:使用这种方法,可以提供要访问的文件的完整路径。

wasb://<containername>@<accountname>.blob.core.windows.net/<file.path>/
wasbs://<containername>@<accountname>.blob.core.windows.net/<file.path>/

使用缩短的路径格式:使用这种方法,将到达群集根目录的路径替换为:

wasb:///<file.path>/
wasbs:///<file.path>/

使用相对路径:使用这种方法,您仅提供要访问的文件的相对路径。

/<file.path>/

数据访问示例:

Fully qualified path => wasbs://[email protected]/sampledata1/
Shortened path => wasbs:///sampledata2/
Relative path => /sampledata3/

有关更多详细信息,请参见“ Accessing files from Azure HDInsight Cluster”。

希望这会有所帮助。如果您还有其他疑问,请告诉我们。

© www.soinside.com 2019 - 2024. All rights reserved.