使用 Livy 上传 Python 脚本

Question

我正在尝试找到一种在 spark 服务器上使用 Livy API (or client) 推送 python 脚本的方法。我尝试了以下方法。

1. curl -X POST --data '{"file": "/user/test/pi.py"}' -H "Content-Type: application/json" localhost:8998/batches

，但是当我 查看它给出的日志文件未找到，因为它正在尝试查找 服务器上的路径。

1. 使用 Livy Python 客户端。

r = client.upload_pyfile("/tmp/code/test.py")

，这将返回一个未来 对象，但未创建批次，（我什至不确定 上传到的文件路径）。

基本上我想要的是 -

1. 能够通过API上传文件，在Spark服务器上 使用 Livy。

2. 提交批处理/运行触发器。使用 Livy。

Answer 1

使用 Livy JAVA 客户端，我可以做到这一点。我已将 jar 上传到 Livy 服务器并提交 Spark JOBS。

您可以参考下面的链接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事项： 1.等待livy客户端成功上传jar/文件。 2. jar/file 应该在 livy server 或 HDFS 中可用，livy server 可以访问。