Livy：在纱线模式下运行火花作业<仅在本地模式下运行>答案

【问题标题】：Livy : Run spark job in yarn mode <running in local mode only>Livy：在纱线模式下运行火花作业<仅在本地模式下运行>
【发布时间】：2018-02-02 08:32:43
【问题描述】：

无法通过 Livy 在纱线（集群或客户端）模式下运行 Spark 作业，我可以使用 Livy 运行 Spark 作业，但这些作业正在本地模式下运行，并且在资源管理器中不可见。我想在 yarn-cluster 模式下运行这些作业。

我正在使用 Hortonworks HDP 2.6.1 hadoop 发行版。 HDP2.6.1 有两个版本的 spark（2.1.1 和 spark 1.6.3）和两个版本的 livy（1 和 2）。

我们有 Ambari 来查看/更改 conf 文件。

我们对以下文件进行了更改：-

在上述文件中添加了以下属性：-

========数据==========

data = {
  'code': textwrap.dedent("""
    print(sc.applicationId)
    """)
}

========卷曲命令=========

curl hdpmaster:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'

谁能帮忙，我们需要在哪个配置文件中进行更改才能在纱线模式下运行火花作业？

【问题讨论】：

【解决方案1】：

由于您无法在工作的 conf 中设置主参数，因此他可能正在使用 jar 中设置的内容，即“本地”。检查你的代码可能是你硬编码的值

【讨论】：