在远程集群上运行 Flink 程序

Question

我在 Apache Flink 中有一个程序。我在本地机器上测试并运行它，一切正常。为了在远程集群上运行程序，我做了Apache Flink Official Website 中提到的必要更改。

我做了以下更改：

1. 以下两点

   • ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
   • ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment("taskManagerName",
portNo,paralelismNo);

2. 修复了读取输入文件和写入输出的必要路径。

3. 从程序中生成一个瘦jar并放入必要的jar 库到我的项目jar文件之外的文件夹中 myproj.jar.

4. 将数据和jar库和myproj.jar复制到集群中 并在集群上远程运行以下命令：

    java -cp pathToJarLib \\*  -jar myproj.jar
   

但是，我收到以下错误，我没有任何线索可以解决此问题。没有相关的日志文件可以帮助我解决此问题。

错误：

线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/MapFunction 在 java.lang.Class.getDeclaredMethods0（本机方法） 在 java.lang.Class.privateGetDeclaredMethods(Class.java:2570) 在 java.lang.Class.getMethod0(Class.java:2813) 在 java.lang.Class.getMethod(Class.java:1663) 在 sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494) 在 sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486) 引起：java.lang.ClassNotFoundException: org.apache.flink.api.common.functions.MapFunction 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged（本机方法） 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 6 更多

Answer 1

您的类路径显然不完整。尝试通过bin/flink run myproj.jar提交。这会正确设置类路径。