【问题标题】：Unable to read local files in spark kubernetes cluster modespark kubernetes集群模式下无法读取本地文件
【发布时间】：2019-11-26 19:14:20
【问题描述】：
我在使用 spark 集群模式程序读取存储在我的系统中的文件时遇到问题。它给我一个错误“找不到文件”但文件存在于定义的位置。请建议我一些想法，以便我可以使用 kubernetes 读取 spark 集群中的本地文件。
【问题讨论】：
标签：
scala
file
apache-spark
kubernetes
server
【解决方案1】：
当您在 Kubernetes 上提交 Spark 时，您无法引用您机器上的本地文件。
您的案例的可用解决方案可能是：
- 使用Resource staging server。在 Apache Spark 代码库的主分支中不可用，因此整个集成都在您身边。
- 将文件放到 http/hdfs 可访问的位置：参考docs
- 将您的文件放入 Spark Docker 映像中，并将其引用为
local:///path/to/your-file.jar
如果您正在运行像 Minikube 这样的本地 Kubernetes 集群，您还可以使用您感兴趣的文件创建一个 Kubernetes 卷并将其挂载到 Spark Pod：请参阅 docs。请务必将该卷挂载到 Driver 和 Executors。