【发布时间】:2019-10-02 13:15:19
【问题描述】:
我开始使用 Apache Livy,我能够关注在线文档并能够通过 Curl(I have posted another question on converting curl to REST call) 提交 spark 作业。我的计划是试用 curl,然后将 curl 转换为来自 Scala 的 REST API 调用。但是在花了一整天的时间弄清楚如何将 Livy curl 调用转换为 REST 之后,我觉得我的理解是错误的。
我正在检查来自 Cloudera 的 this example,我看到我们必须创建一个 LivyClient 实例并将应用程序代码从它上传到 Spark 上下文。是正确的方法吗?我有一个用例,我需要从 Cloud 触发我的 Spark 作业,我是否需要将依赖项放在 Cloud 上并使用 uploadJar 添加它,就像 Cloudera 示例中提到的那样?
【问题讨论】:
标签: apache-spark livy