【问题标题】:How do I install Custom Jar in HDInsight如何在 HDInsight 中安装自定义 Jar
【发布时间】:2015-08-17 13:47:45
【问题描述】:

我是 Hadoop/HDInsight 的新手。

我已经按照here的步骤创建了SerDe的jar包。在创建包json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar 后,帖子说我需要将它上传到头节点。

是否意味着我必须 RDP 进入 HDInsight VM,然后手动上传文件?

如果我没有启用与该 VM 的远程连接,我还能做什么?

PS:HDInsight 群集已预配。

【问题讨论】:

    标签: azure-hdinsight


    【解决方案1】:

    您不必将其添加到 HDInsight 的头节点。如果您将 jar 上传到与集群关联的存储帐户,则可以使用示例中使用的 add jar 命令访问它。

    add jar wasb://<storageaccount>@<containername>/<jarfolder>/json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar;
    

    例如:

    add jar wasb://andrewsstorage@datacontainer/myjars/json-serde-1.1.9.9-Hive13-jar-with-dependencies.jar
    

    这是一种更具可扩展性的方法,因为 jar 资产将在 HDI 集群被销毁后保留。

    【讨论】:

    • 你没有把容器和存储帐户倒过来吗?你能编辑你的答案吗?
    • @Andrew 更多查询。在我的问题中给出的链接中,有一个使用 SerDe 编写的查询。是否可以在浏览器中使用 HDInsight Cluster 的 Hive 编辑器编写相同的查询?
    • @Sandesh - 是的,您仍然可以使用查询控制台编写相同的查询,但是您必须使用命令行界面通过 RDP 将 JAR 上传到集群中。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-16
    • 1970-01-01
    • 2021-11-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多