【发布时间】:2019-01-09 20:14:41
【问题描述】:
有没有人尝试将 Azure 数据块用作 CDAP 作业处理的 Spark 集群。 CDAP 文档详细说明了如何将其添加到 Azure HDInsight,但只是想知道有没有办法将 CDAP 配置为指向数据砖 Spark 集群,这甚至可能吗?或者这种集成需要特定的数据块客户端连接器 jar?如果有人有任何有用的见解。
【问题讨论】:
标签: databricks cdap
有没有人尝试将 Azure 数据块用作 CDAP 作业处理的 Spark 集群。 CDAP 文档详细说明了如何将其添加到 Azure HDInsight,但只是想知道有没有办法将 CDAP 配置为指向数据砖 Spark 集群,这甚至可能吗?或者这种集成需要特定的数据块客户端连接器 jar?如果有人有任何有用的见解。
【问题讨论】:
标签: databricks cdap
Azure 上的 Databricks spark 没有开箱即用的支持。但是,也就是说您可以开发一个新的Cloud Runtime,它能够将作业提交到 Databricks spark 集群。下面是如何为Cloud Dataproc 和EMR 编写运行时扩展的示例。
【讨论】: