【问题标题】:Unable to run a python flink application on cluster无法在集群上运行 python flink 应用程序
【发布时间】:2018-02-27 23:10:40
【问题描述】:

我正在尝试在独立的 Flink 集群上运行 Python Flink 应用程序。该应用程序在单节点集群上运行良好,但在多节点集群上引发以下错误。 java.lang.Exception: The user defined 'open()' method caused an exception: An error occurred while copying the file。请帮我解决这个问题。谢谢

我正在尝试执行的应用程序具有以下代码。

from flink.plan.Environment import get_environment
from flink.plan.Constants import INT, STRING, WriteMode

env = get_environment()

data = env.from_elements("Hello")

data.map(lambda x: list(x)).output()
env.execute()

【问题讨论】:

  • 请提供open() 方法的代码和完整的堆栈跟踪。到目前为止,您提供的信息无法为您提供帮助。
  • open() 函数实际上不是用户定义的,但我似乎没有找到解决这个问题的方法。只有在多节点集群中执行时,此问题仍然存在。

标签: apache-flink


【解决方案1】:

您必须在“flink-conf.yaml”中配置“python.dc.tmp.dir”以指向分布式文件系统(如 HDFS)。该目录用于分发python脚本。

【讨论】:

  • 您好 Chesnay,感谢您的回复。有没有办法在没有 HDFS 系统的情况下设置它?
  • 不幸的是,目前您需要某种分布式文件系统。
  • 我有一个 NFS 文件系统,即使在 flink-conf.yaml 中将“python.dc.tmp.dir”配置到共享文件夹后,错误仍然存​​在。请帮忙。谢谢
猜你喜欢
  • 2021-10-10
  • 2016-03-12
  • 1970-01-01
  • 1970-01-01
  • 2018-09-18
  • 1970-01-01
  • 2021-11-30
  • 1970-01-01
相关资源
最近更新 更多