现在，我通过轮询 job REST API 来监控我在 Google AI Platform（以前称为 ml 引擎）上提交的作业。我不喜欢这个解决方案有几个原因：
我希望在我的培训工作完成后立即收到通知。如果有某种方法可以分配钩子或回调以在作业状态更改时运行。
我还考虑直接在 AI Platform 上运行的训练任务 python 包中添加对云函数的调用。但是，我认为这些函数调用不会发生在训练作业意外关闭的情况下，例如当作业被 GCP 取消或强制结束时。
有没有更好的方法来解决这个问题？
【问题讨论】：
标签： google-cloud-platform google-cloud-ml gcp-ai-platform-training
您可以使用 Stackdriver 接收器来读取日志并将其发送到 Pub/Sub。通过 Pub/Sub，您可以连接到许多其他提供商：
在开始之前，请确保您拥有 access to the logs 和 publish rights to the topic you desire。按照说明设置 Stackdriver -> Pub/Sub 接收器。您将希望使用此查询将事件限制为仅培训作业：
resource.type = "ml_job"
resource.labels.task_name = "service"
请注意Stackdriver can further limit down the query。例如，您可以通过添加像 resource.labels.job_id = "..." 这样的条件或使用像 jsonPayload.message : "..." 这样的过滤器来限制特定事件。
为了知道发生了什么变化，Pub/Sub 消息的接收者可以从 ml.googleapis.com API 查询作业状态或阅读消息的文本
收到消息后，调用https://ml.googleapis.com/v1/<project_id>/jobs/<job_id>获取Job信息，将URL中的[project_id]和[job_id]替换为resource.label.project_id和resource.label.job_id的值分别发布/订阅消息。
返回的 Job 对象包含一个字段 state，它自然地表明了作业的状态。
Pub/Sub 消息将包含一个字符串，说明作业发生了什么。您可能希望工作结束时的行为。在 jsonPayload.message 中查找这些字符串：
【讨论】：
正如@htappen 所说，我实现了一个 Terraform 模块。如果对你有帮助，我很高兴。但我真正希望 Google 更新 AI Platform 以提供相同的功能。
https://github.com/sfujiwara/terraform-google-ai-platform-notification
【讨论】：
我认为您可以在培训作业代码的末尾以编程方式发布 PubSub 消息。像这样的：
from google.cloud import pubsub_v1
# publish job complete message
client = pubsub_v1.PublisherClient()
topic = client.topic_path(args.gcp_project_id, 'topic-name')
data = {
'ACTION': 'JOB_COMPLETE',
'SAVED_MODEL_DIR': args.job_dir
}
data_bytes = json.dumps(data).encode('utf-8')
client.publish(topic, data_bytes)
然后您可以设置一个云功能以由相同的 pubsub 主题触发。
【讨论】：
您可以通过将 LamdbaCallback 添加到 fit() 调用来解决自定义 TF 训练作业中缺少来自服务的回调的问题。在 on_epoch 方法中，您可以在工作完成时向自己发送有关工作进度和 on_train_end 的通知。
https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/LambdaCallback
【讨论】：