Azure 云中的 Spark 部署

Question

是否可以在没有 yarn 组件的情况下在 Azure 云中部署 spark 代码？提前谢谢

Answer 1

是的，您可以在没有 Yarn 的情况下在 Azure HDInsight 中部署 Apache Spark 集群。

HDInsight 中的 Spark 群集包括默认情况下在群集上可用的以下组件。

1)火花核心。包括 Spark Core、Spark SQL、Spark 流 API、GraphX 和 MLlib。

2)蟒蛇

3)李维

4)Jupyter 笔记本

5)齐柏林笔记本

HDInsight 上的 Spark 群集还提供 ODBC 驱动程序，用于从 Microsoft Power BI 和 Tableau 等 BI 工具连接到 HDInsight 中的 Spark 群集。

有关详细信息，请参阅以下网站，

Create an Apache Spark cluster in Azure HDInsight

Introduction to Spark on HDInsight

Answer 2

我认为没有 YARN 无法部署 HDInsight 群集。请参阅 HDInsight 文档

• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning

YARN 是 Hadoop 的资源管理器。在使用 HDInsight Spark 集群时，您是否有任何不希望使用 YARN 的特殊原因？

如果你想使用独立模式，你可以在提交作业时使用 Spark-submit 命令修改主 url 的位置。

我的 repo 中有一些示例在本地模式和 HDInsight 群集上使用 Spark-submit https://github.com/NileshGule/learning-spark

可以参考

• 本地模式：https://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
• HDInsight Spark 群集：https://github.com/NileshGule/learning-spark/blob/master/Azure.md