hdinsight actionscript 安装 spark 1.2答案

【问题标题】：hdinsight actionscript install spark 1.2hdinsight actionscript 安装 spark 1.2
【发布时间】：2015-02-19 23:30:15
【问题描述】：

有人知道如何为 hdisights 创建动作脚本吗？我现在使用actoinscript 安装spark 1.0.2，但希望集群上的spark 1.2.x 获得更多hive 支持。当我尝试通过修改 Microsoft 提供的操作脚本来创建具有 1.2 的 spark 集群时，我已经阅读了 Script Action Development with HDInsight。这样做之后，我收到一个错误，即 spark 不理解文件 url 'wasb://'，并且它需要采用'hdfs://'格式。在文章中它谈到了Configure the custom components to use WASB，它说：

The custom components that you install on the cluster nodes might have a 
default configuration to use HDFS storage. You should change the 
configuration to use Azure Storage Blob (WASB) instead. On a cluster 
re-image, the HDFS file system gets formatted and you would lose any data 
that is stored there. Using WASB instead ensures that your data will be 
retained.

对我来说，这似乎与我遇到的错误有关。有谁知道如何编译支持（WASB）的火花或如何配置它？

【问题讨论】：

标签： azure hadoop apache-spark hdfs azure-hdinsight

【解决方案1】：

嗯，微软昨天添加了对 Apache Spark 1.2 的“支持”。如果您使用新版本的 HDInsight 3.2 并使用此 new action script，它看起来会为您安装 1.2。我现在正在测试它！

【讨论】：

他们刚刚删除了你提到的那个动作脚本。一天前我自己检查了它，它是可用的。不幸的是，似乎 Microsoft 几个小时前刚刚删除了该脚本，因为它目前不可用。
他们似乎重新启用了脚本，他们可能对以前的版本有一些问题，所以他们暂时删除了它。

【解决方案2】：

试试下面的 powershell - 它对我来说很好用。您可能需要先更新您的 azure powershell 库。

New-AzureHDInsightClusterConfig -ClusterSizeInNodes $NumClusterNodes -HeadNodeVMSize $VmSize |
Set-AzureHDInsightDefaultStorage -StorageAccountName $DefaultStorageAccountFqdn -StorageAccountKey $storageAccountKey -StorageContainerName $hadoopContainer |
Add-AzureHDInsightScriptAction -Name "Install Spark" -ClusterRoleCollection HeadNode -Uri https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1 |
New-AzureHDInsightCluster -Credential $HdInsightCreds -Name $clusterName -Location $MyClusterLocation -Version $MyClusterVersion

【讨论】：

这不是我想要的，该代码将安装 spark，是的，但它安装版本 1.0.2，我想要一个安装 1.2.x 的脚本。我一直在尝试制作一个可以执行此操作的新脚本，并且我已经制作了一个执行此操作但它不起作用的脚本，当您在 yard 上启动安装的 spark 代码时，它会出错，因为不知道 wasb:// 是什么