【问题标题】:How to check which user has stopped the dataflow pipeline in GCP?如何检查哪个用户停止了 GCP 中的数据流管道?
【发布时间】:2020-02-18 03:10:10
【问题描述】:

我有一个在 GCP 上运行的数据流管道,它从 pub/sub 读取消息并写入 GCS 存储桶。我的数据流管道状态被某个用户取消,我想知道那个用户是谁是?

【问题讨论】:

  • 你检查过日志吗?尝试使用管道 ID 进行过滤。

标签: google-cloud-platform google-cloud-dataflow google-cloud-pubsub


【解决方案1】:

您可以通过单击日志窗格右侧的 Stackdriver 链接在 Stackdriver Logging 中查看流水线步骤的所有步骤日志。

以下是可从监控→日志页面查看的不同日志类型的摘要:

  • job-message 日志包含 Cloud Dataflow 的各种组件生成的作业级消息。例子包括 自动缩放配置,当工作人员启动或关闭时, 作业步骤的进度和作业错误。工人级别的错误 源自崩溃的用户代码并且存在于工作日志中 还会传播到作业消息日志。
  • worker 日志由 Cloud Dataflow 工作人员生成。工作人员完成了大部分管道工作(例如,将 ParDos 应用于 数据)。工作器日志包含由您的代码和云记录的消息 数据流。
  • worker-startup 日志存在于大多数 Cloud Dataflow 作业中,并且可以捕获与启动过程相关的消息。启动 过程包括从 Cloud Storage 下载作业的 jar,然后 开始工人。如果启动工人有问题,这些 日志是查看的好地方。
  • shuffler 日志包含来自合并并行管道操作结果的工作人员的消息。
  • docker 和 kubelet 日志包含与这些公共技术相关的消息,这些技术用于 Cloud Dataflow 工作线程。

正如前面评论中提到的,您应该按管道 ID 进行过滤,任务的参与者将在 AuthenticationEmail 条目中。

【讨论】:

    猜你喜欢
    • 2015-08-31
    • 1970-01-01
    • 2019-05-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多