如何在 zeppelin 中使用 pyspark？答案

【问题标题】：How can I use pyspark in zeppelin?如何在 zeppelin 中使用 pyspark？
【发布时间】：2017-07-14 21:02:04
【问题描述】：

我在ubuntu中安装了spark-2.1.0-bin-hadoop2.7.tgz。

我将 zeppelin-env.sh 设置如下。

    export PYTHONPATH=/usr/bin/python
    export PYSPARK_PYTHON=/home/jin/spark/python

所以我尝试在 zeppelin notebook 中使用 pyspark。

    %spark.pyspark

    print(2+2)

zeppelin notebook 出现错误。

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:380)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:369)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:144)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:817)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
    at org.apache.zeppelin.spark.PySparkInterpreter.getSparkInterpreter(PySparkInterpreter.java:546)
    at org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:206)
    at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:160)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:482)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我不知道为什么会出现这些错误。

你能给我一些建议吗？

【问题讨论】：

你的飞艇版本是多少？
我的 zeppelin 版本是 zeppelin-0.7.0-bin-all。

标签： python apache-spark pyspark apache-zeppelin

【解决方案1】：

你可以在没有 Spark 环境的情况下使用 Jupiter 吗？

同样你可以在没有 Jupiter 环境的情况下使用 Spark 吗？

【讨论】：

感谢您的重播，但我使用的是 zeppelin 笔记本。不是 Jupyter。