如何从 Azure HDInsight 上 Zeppelin 笔记本中的自定义 .jar 文件导入包答案

【问题标题】：How to import packages from custom .jar file in Zeppelin notebook on Azure HDInsight如何从 Azure HDInsight 上 Zeppelin 笔记本中的自定义 .jar 文件导入包
【发布时间】：2020-05-16 16:06:26
【问题描述】：

我正在关注文档here：

在 Azure HDI 4.0 集群上使用 Zeppelin 笔记本，我想从自定义 .jar 文件导入包。我已将 .jar 文件的副本放在集群的默认存储帐户中，但我不知道如何将正确的路径指定为依赖项。

Trying to add the .jar file as a dependency

我尝试了以下路径：

wasbs://<container-name>@<account-name>.blob.core.windows.net/<path-to-jar-file.jar>

https://<account>.blob.core.windows.net/container/<path-to-jar-file.jar>

在所有情况下，我都被告知路径/文件不存在。我错过了什么？

【问题讨论】：

标签： scala apache-spark jar apache-zeppelin azure-hdinsight

【解决方案1】：

确保传递自定义 jar 的正确路径。

您可以通过多种方式从 HDInsight 群集访问 Data Lake Storage 中的文件。 URI 方案提供未加密访问（使用 wasb: 前缀）和 SSL 加密访问（使用 wasbs）。我们建议尽可能使用 wasbs，即使在访问 Azure 中同一区域内的数据时也是如此。

使用完全限定名称：使用这种方法，您可以提供要访问的文件的完整路径。

wasb://<containername>@<accountname>.blob.core.windows.net/<file.path>/
wasbs://<containername>@<accountname>.blob.core.windows.net/<file.path>/

使用缩短的路径格式：使用这种方法，您可以将到集群根目录的路径替换为：

wasb:///<file.path>/
wasbs:///<file.path>/

使用相对路径：使用这种方法，您只需提供要访问的文件的相对路径。

/<file.path>/

数据访问示例：

Fully qualified path => wasbs://CONTAINERNAME@STORAGEACCOUNT.blob.core.windows.net/sampledata1/
Shortened path => wasbs:///sampledata2/
Relative path => /sampledata3/

更多详情请参考“Accessing files from Azure HDInsight Cluster”。

希望这会有所帮助。如果您有任何进一步的疑问，请告诉我们。

【讨论】：

对不起，我刚刚意识到我的文件路径在这篇文章中没有正确显示。我已经编辑过了。我正在使用这些文件路径，并将它们作为依赖项复制到 livy2 解释器中（它说“工件”）。但响应始终是该文件不存在。该字段表明我可以使用groupId:artifactId:version 或本地文件路径，但它无法识别群集默认存储帐户上的文件路径。