使用带有参数的 Apache Livy 触发 spark 应用程序 [关闭]答案

【问题标题】：Trigger spark application with Apache Livy with parameters [closed]使用带有参数的 Apache Livy 触发 spark 应用程序 [关闭]
【发布时间】：2018-11-14 21:20:55
【问题描述】：

我正在尝试从 Apache Livy 触发 Spark 应用程序，但我似乎无法让它工作。我正在使用最新版本（0.5）并根据文档https://livy.incubator.apache.org/examples/ 传递参数，但是从应用程序运行时的日志中，我看到没有考虑任何参数。

curl http://livy:8998/batches -X POST -H 'Content-Type: application/json' -d '{
    "file": "hdfs path", 
    "className": "Main", 
    "name": "app",
    "args":[“arg1 value”, “arg2 value”]
}'

我错过了什么？

【问题讨论】：

文件是你 jar 的路径吗？
是的，当我在 Livy 中看到与我的应用程序相关的日志时，这很有效。我看到的唯一奇怪的是，从来没有考虑过论点......
奇怪，args 和它们的类型是什么？好像没问题，这里有一个例子community.hortonworks.com/articles/151164/…

标签： apache-spark livy

【解决方案1】：

你用错了标点符号。

改变

"args":[“arg1 value”, “arg2 value”]

到

"args":["arg1 value", "arg2 value"]

【讨论】：