HDInsight 纱线集群中的 PredictionIO 训练失败答案

【问题标题】：PredictionIO train failed in HDInsight Yarn ClusterHDInsight 纱线集群中的 PredictionIO 训练失败
【发布时间】：2018-11-05 12:08:03
【问题描述】：

我尝试使用以下命令在 HDInsight Spark 群集中运行 pio train 命令

pio train -- --deploy-mode cluster --master yarn

但是已经提供了以下错误

2018-11-05 11:40:05 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.io.IOException: No FileSystem for scheme: wasb
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
        at org.apache.spark.deploy.yarn.Client$$anonfun$5.apply(Client.scala:121)
        at org.apache.spark.deploy.yarn.Client$$anonfun$5.apply(Client.scala:121)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.deploy.yarn.Client.<init>(Client.scala:121)
        at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1520)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
2018-11-05 11:40:07 INFO  ShutdownHookManager:54 - Shutdown hook called

我使用以下脚本测试连接，没有问题，脚本成功连接并从 Azure 存储返回可用项目

hadoop fs -ls wasb://my_container_name@my_blob_account_name.blob.core.windows.net

有没有人解决这个问题的想法？

【问题讨论】：

标签： azure apache-spark hadoop-yarn azure-hdinsight predictionio

【解决方案1】：

有同样的问题，hadoop 将支持 wasb:// 协议，但不支持 pio 根据https://github.com/hning86/articles/blob/master/hadoopAndWasb.md 您必须在 CLASSPATH 中使用 hadoop-azure-2.7.1.jar 和 azure-storage-2.0.0.jar

要解决这个问题，需要将这两个jar添加到pio本身的CLASSPATH中。

使用 PredictionIO 0.13.1，根据 /usr/local/pio/bin/compute-classpath.sh，这可以通过将 jar 添加到子目录 plugins

来实现

ls /usr/local/pio/plugins/azure-storage-2.0.0.jar ls /usr/local/pio/plugins/hadoop-azure-2.7.1.jar

【讨论】：