在 kubernetes 上运行 Spark 时出现错误“java.lang.UnsatisfiedLinkError:__strncpy_chk”答案

【问题标题】：Error "java.lang.UnsatisfiedLinkError:__strncpy_chk" when running Spark on kubernetes在 kubernetes 上运行 Spark 时出现错误“java.lang.UnsatisfiedLinkError:__strncpy_chk”
【发布时间】：2020-09-02 18:47:43
【问题描述】：

我正在尝试以集群模式在 kubernetes 上的 Spark 上运行 DL 作业，并收到错误 java.lang.UnsatisfiedLinkError:__strncpy_chk: symbol not found。

这是完整的错误堆栈。

Exception in thread "main" java.lang.UnsatisfiedLinkError:
  /tmp/dlNativeLoader8370768401448024359libiomp5.so: 
  Error relocating /tmp/dlNativeLoader8370768401448024359libiomp5.so: 
  __strncpy_chk: symbol not found
    

at java.lang.ClassLoader$NativeLibrary.load(Native Method)
    at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1941)
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1824)
    at java.lang.Runtime.load0(Runtime.java:809)
    at java.lang.System.load(System.java:1086)
    at com.intel.analytics.bigdl.mkl.MKL.<clinit>(MKL.java:56)
    at com.intel.analytics.bigdl.utils.Engine$.initThreadPool(Engine.scala:400)
    at com.intel.analytics.bigdl.utils.Engine$.setCoreNumber(Engine.scala:313)
    at com.intel.analytics.bigdl.utils.Engine$.setNodeAndCore(Engine.scala:470)
    at com.intel.analytics.bigdl.utils.Engine$.init(Engine.scala:124)
    at com.intel.analytics.bigdl.models.lenet.Train$$anonfun$main$1.apply(Train.scala:41)
    at com.intel.analytics.bigdl.models.lenet.Train$$anonfun$main$1.apply(Train.scala:36)

【问题讨论】：

标签： apache-spark kubernetes bigdl

【解决方案1】：

我发现集群上的 docker 容器镜像使用的是 musl libc (alpine) linux。而 BigDL 工作负载需要更高的 glibc 版本。因此，系统应该是 ubuntu 16.04 或更高版本。这解决了我的问题。

【讨论】：