Apache Zeppelin 升级到 Flink 1.4.2

Question

我尝试升级 Apache Zeppelin 以使用 Flink 1.4.2。检查 Flink Zeppelin 解释器的源代码，从 Flink 版本的角度来看，我没有找到任何看似材料的东西，所以我只是将 pom 文件中的 Flink 版本更新为 1.4.2 并从源代码运行一个新的构建，这出乎意料地工作。运行 Flink 批处理示例笔记本（或我自己的流式示例）我收到以下错误，我无法正确理解

org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.java:274)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.interpret(RemoteInterpreterService.java:258)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:233)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:229)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.callRemoteFunction(RemoteInterpreterProcess.java:135)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:228)
at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:437)
at org.apache.zeppelin.scheduler.Job.run(Job.java:183)
at org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:305)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

很高兴了解我们如何在 Zeppelin 中迁移到最新的 Flink 版本。

Answer 1

Flink 用户邮件列表中的recent thread 介绍了如何更新 Zeppelin 以使用 Flink 1.4.2。该电子邮件包含未出现在存档中的图像，因此我将在此处包含相关信息：

需要在Zeppelin中设置两个属性，指向zeppelin服务器使用的flink集群的jobmanager：

jobmanager.rpc.host
jobmanager.rpc.port

请注意，还有名为 host 和 port 的属性，但它们不用于此目的。

您需要使用配置文件 scala-2.11 和 Flink 1.4.2 构建 Zeppelin。