【问题标题】:Apache zeppelin errorApache zeppelin 错误
【发布时间】:2017-03-04 02:30:12
【问题描述】:

我已启动 apache zeppelin 并在配置的端口中成功运行。 当我执行简单的 spark 命令时,例如

sc.version
println(zeppelin)

我只能在运行按钮附近看到“ERROR”字符串,而我的控制台上没有任何错误输出。

我的错误日志:

错误 [2016-10-21 22:38:05,837] ({pool-2-thread-6} Job.java[run]:189) - 作业失败 org.apache.spark.SparkException:同时找到 spark.driver.extraClassPath 和 SPARK_CLASSPATH。只使用前者。 在 org.apache.spark.SparkConf$$anonfun$validateSettings$7$$anonfun$apply$8.apply(SparkConf.scala:492) 在 org.apache.spark.SparkConf$$anonfun$validateSettings$7$$anonfun$apply$8.apply(SparkConf.scala:490) 在 scala.collection.immutable.List.foreach(List.scala:318) 在 org.apache.spark.SparkConf$$anonfun$validateSettings$7.apply(SparkConf.scala:490) 在 org.apache.spark.SparkConf$$anonfun$validateSettings$7.apply(SparkConf.scala:478) 在 scala.Option.foreach(Option.scala:236) 在 org.apache.spark.SparkConf.validateSettings(SparkConf.scala:478) 在 org.apache.spark.SparkContext.(SparkContext.scala:398) 在 org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_1(SparkInterpreter.java:440) 在 org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:354) 在 org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:137) 在 org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:743) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:341) 在 org.apache.zeppelin.scheduler.Job.run(Job.java:176) 在 org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)

我还提到了_zeppelin-env.sh_ file中的spark和java路径。

【问题讨论】:

    标签: apache apache-zeppelin


    【解决方案1】:

    我知道,这是一个相当晚的答案,但对于任何面临类似问题的人来说。

    即使我有类似的问题,我在 Spark 的解释器模式中添加了一些外部依赖项 {com.twitter:algebird-core_2.11:0.11.0}。如果为任何组件添加任何依赖项,则可能存在依赖项与 Zeppelin 版本不兼容或远程不存在的情况。删除该依赖项后,我开始在 Zeppelin 控制台上看到其他错误。

    只是为了确保,“zeppelin.spark.printREPLOutput”设置为true,通常默认情况下它只为true,但只是为了确保!!

    【讨论】:

      猜你喜欢
      • 2020-12-24
      • 2018-06-20
      • 2016-12-09
      • 2015-07-09
      • 2016-01-25
      • 2016-09-03
      • 2019-02-22
      • 2021-10-12
      • 2021-12-18
      相关资源
      最近更新 更多