Beam/Dataflow：找不到会话文件：/var/opt/google/dataflow/pickled_main_session

Question

使用 Apache Beam (GCP Dataflow) 时，我在工作日志中看到以下警告：

未找到会话文件：/var/opt/google/dataflow/pickled_main_session。 __main__（交互式会话）中定义的函数可能会失败。

无论如何，我的 Dataflow 工作似乎都很好，但我想知道这个警告是关于什么的。

我在一些示例代码中看到了以下内容（我目前没有这样做）：

pipeline_options.view_as(SetupOptions).save_main_session = True

pipeline_options 是指定 Beam/Dataflow 管道选项的主要方式，如下代码所示：

with beam.Pipeline(options=pipeline_options) as p:
    # actual pipeline code here

我很好奇这两者是否相关。警告的存在是否意味着我应该始终保存主会话？这两件事有关系吗？不相关？

Answer 1

您应该可以放心地忽略此警告。如果您的管道不需要，则无需设置save_main_session。