【问题标题】:Spark notebook in Hue 3.11Hue 3.11 中的 Spark 笔记本
【发布时间】:2016-10-14 14:11:56
【问题描述】:

我正在尝试使用 Livy 0.2.0 在 HUE(3.11 版)和 Spark 2.0.0 中设置 Spark 笔记本。 使用 Spark 1.6.1,笔记本运行良好。

Livy 仅支持 Spark 的 Scala 2.10 构建。所以我用 Scala-2.10.6 构建了 Spark-2.0.0。当我打开 spark-shell(2.0.0) 时,它清除说“使用 Scala 版本 2.10 .6"。 但是 Spark notebook 不适用于此构建。在 Spark notebook 中,当我执行 1+1 并执行它时,它会给出以下错误。 这里可能有什么问题?以下是日志中的异常

           "java.util.concurrent.ExecutionException: com.cloudera.livy.rsc.rpc.RpcException: java.lang.NoSuchMethodError: org.json4s.jackson.JsonMethods$.render(Lorg/json4s/JsonAST$JValue;)Lorg/json4s/JsonAST$JValue;\ncom.cloudera.livy.repl.ReplDriver$$anonfun$handle$2.apply(ReplDriver.scala:78)\ncom.cloudera.livy.repl.ReplDriver$$anonfun$handle$2.apply(ReplDriver.scala:78)\nscala.Option.map(Option.scala:145)\ncom.cloudera.livy.repl.ReplDriver.handle(ReplDriver.scala:78)\nsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)\nsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)\nsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)\njava.lang.reflect.Method.invoke(Method.java:606)\ncom.cloudera.livy.rsc.rpc.RpcDispatcher.handleCall(RpcDispatcher.java:130)\ncom.cloudera.livy.rsc.rpc.RpcDispatcher.channelRead0(RpcDispatcher.java:77)\nio.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)\nio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)\nio.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)\nio.netty.channel.ChannelInboundHandlerAdapter.channelRead(ChannelInboundHandlerAdapter.java:86)\nio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)\nio.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)\nio.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:244)\nio.netty.handler.codec.ByteToMessageCodec.channelRead(ByteToMessageCodec.java:103)\nio.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)\nio.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)\nio.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)\nio.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)\nio.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)\nio.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)\nio.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)\nio.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)\nio.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)\njava.lang.Thread.run(Thread.java:745)" (error 500)

【问题讨论】:

    标签: apache-spark cloudera hue


    【解决方案1】:

    这解决了我的问题。 从 Git hub 下载最新的 Livy 代码。使用下面的 maven 构建命令

    mvn clean package -DskipTests -Dspark-2.0 -Dscala-2.11
    

    【讨论】:

      【解决方案2】:

      我不确定这是否可能。 依靠release notes,Hue 3.11 不适用于 Spark 2.0(它适用于 Spark 1.6)。

      【讨论】:

      • Livy 提供了一个访问 Spark 的 rest 接口,hue 只是 Livy 的一个客户端。我认为问题是别的
      • 是的,建议检查 livy.io 是否支持 Spark 2.0
      猜你喜欢
      • 2021-05-17
      • 2017-12-01
      • 2021-06-14
      • 1970-01-01
      • 1970-01-01
      • 2017-09-24
      • 2019-04-18
      • 2021-10-17
      • 2023-01-09
      相关资源
      最近更新 更多