【问题标题】:How Livy rest API call works?Livy REST API 调用如何工作?
【发布时间】:2019-10-02 13:15:19
【问题描述】:

我开始使用 Apache Livy,我能够关注在线文档并能够通过 Curl(I have posted another question on converting curl to REST call) 提交 spark 作业。我的计划是试用 curl,然后将 curl 转换为来自 Scala 的 REST API 调用。但是在花了一整天的时间弄清楚如何将 Livy curl 调用转换为 REST 之后,我觉得我的理解是错误的。

我正在检查来自 Cloudera 的 this example,我看到我们必须创建一个 LivyClient 实例并将应用程序代码从它上传到 Spark 上下文。是正确的方法吗?我有一个用例,我需要从 Cloud 触发我的 Spark 作业,我是否需要将依赖项放在 Cloud 上并使用 uploadJar 添加它,就像 Cloudera 示例中提到的那样?

【问题讨论】:

    标签: apache-spark livy


    【解决方案1】:

    有 2 个选项可以与 Livy 服务器交互

    1. 使用 Livy 客户端可以更轻松地与 Livy 服务器交互。
    2. 有公开的 Rest API 可以通过编程方式使用。

    请查看以下链接

    https://livy.incubator.apache.org/docs/latest/rest-api.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-02-27
      • 1970-01-01
      • 1970-01-01
      • 2016-06-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多