【问题标题】:Zeppelin notebook execute not manualZeppelin 笔记本执行不是手动的
【发布时间】:2018-04-03 23:47:21
【问题描述】:
有没有一种方法可以在 zeppelin 笔记本中执行 spark 代码,而无需以交互方式执行?我正在寻找特定的东西,或者是否有人可以指出我正确的方向。或者,其他提交 spark 代码的方式,目前在 zeppelin notebook 中。我不能使用 spark-submit 的原因是由于安全原因没有命令行访问。
【问题讨论】:
标签:
apache-spark
apache-spark-sql
apache-zeppelin
spark-submit
【解决方案1】:
Zeppelin 提供 REST API,除其他功能外,该 API 可用于运行单个段落,synchronously
http://[zeppelin-server]:[zeppelin-port]/api/notebook/run/[noteId]/[paragraphId]
或asynchronously
http://[zeppelin-server]:[zeppelin-port]/api/notebook/job/[noteId]/[paragraphId]
还有whole notebook:
http://[zeppelin-server]:[zeppelin-port]/api/notebook/job/[noteId]
还可以从笔记本本身和 REST API 定义 CRON 作业。