【问题标题】:How to add dependency in flink minikube cluster?如何在 flink minikube 集群中添加依赖?
【发布时间】:2019-03-12 19:16:47
【问题描述】:
我有一个依赖于 flink-json-1.7.2.jar、flink-table_2.11-1.7.2.jar 的作业 jar。如果我将这两个 jar 添加到 flink 的 lib 文件夹中,这在我的本地机器上运行良好。
如何在我的 minikube 集群上实现相同的目标。
即将依赖项添加到flink。
附言。我已经按照 this 文档设置了我的 minikube。
我还可以看到这些 jar 被添加到我构建作业 jar 时创建的 fat jar 中。
【问题讨论】:
标签:
java
kubernetes
apache-flink
【解决方案1】:
由于 Apache Calcite 中的一个问题,它会阻止用户类加载器被垃圾收集,我们不建议构建包含 flink-table 依赖项的 fat-jar。相反,我们建议将 Flink 配置为在系统类加载器中包含 flink-table 依赖项。这可以通过将 flink-table.jar 文件从 ./opt 文件夹复制到 ./lib 文件夹来完成。
来自文档
【解决方案2】:
由于您已经在本地机器上实现了 Flink 作业,我假设您可以创建自己的特定 Docker 映像并在其中包含请求的 *.jar 文件,如 here 所述。虽然,您已经启动了minikube Kubernetes 集群,但也可以在相应的Flink job Kubernetes 部署文件中使用自定义的 Docker 镜像。