Google Cloud Platform - 在线预测的高延迟答案

【问题标题】：Google Cloud Platform - High latency on online predictionGoogle Cloud Platform - 在线预测的高延迟
【发布时间】：2020-06-15 21:18:06
【问题描述】：

我已经在 Google Cloud Platform（机器学习引擎）中部署了一个基于随机森林的模型来获得在线预测。当我使用使用 Google API 客户端库的 API 调用 API 时，通常需要大约 15 秒才能获得响应（只有一个实例）。当我尝试使用大约 15 个实例时，使响应增加到 2 分钟以上的时间。当第一次出现这个问题时，我们将 minNodes 配置为 1，以确保始终有一个节点准备就绪。但是，这并没有解决我的问题。

我试图在 Google 文档中找到解决方案，但这并不是很清楚。例如，我已激活控制台日志 (--enable-console-logging)，但看不到任何日志。

如果有任何改进我的模型的建议，我将不胜感激。

此处用于部署模型的命令：

gcloud beta ai-platform models create $MODEL_NAME \
  --regions $REGION \
  --enable-console-logging

gcloud alpha ai-platform versions create $VERSION_NAME \
  --log-http \
  --model $MODEL_NAME \
  --runtime-version 1.15 \
  --python-version "3.7" \
  --origin gs:/$patch_custom/ \
  --package-uris gs:/$patch_custom/ML_MODEL_RAR-0.0.tar.gz \
  --prediction-class AQ_Service.predictor.rf_predictor \
  --machine-type mls1-c4-m4 \
  --config CONFIG.YAML
  */

CONFIG.YAML：

  autoScaling:
    minNodes: 1  # The minimum number of nodes to allocate for this model.

注意它使用机器类型 mls1-c4-m4，因为这是在不使用其他仅支持 TensorFlow 的机器的情况下解决模型大小问题的唯一方法。

类似问题：High latency issue of online prediction

【问题讨论】：

要可视化日志，在 StackDriver > Logging > 选择 Global 和您的日志名称，如果您想查看模型日志，您应该能够选择 Cloud ML 模型版本。查看这篇文章：stackoverflow.com/questions/60163113/…，您使用的是什么框架？您是否在本地尝试过使用相同的型号并确认您确实获得了良好的效果？
非常感谢，现在我可以看到日志了。我已经复制了这些问题。使用一个实例可以正常工作，但是同时使用大约 10 个实例大约需要 2 分钟。是的，我已经在本地进行了测试并且工作正常。什么类型的日志应该告知这个问题？它不报告任何严重错误，只报告信息类型。

标签： machine-learning google-cloud-platform prediction latency google-cloud-ml

【解决方案1】：

H3P04

从表面上看，很难说 HTTP 请求/响应的延迟有多大，模型进行预测的时间有多大。如果 HTTP 部分为 0，那么您可以预期 15s * 15 = 3.75 分钟。所以看起来你在 2 分钟就没事了。

您可以通过使用更快的计算硬件来进一步减少延迟。以下是 Google 文档的链接：https://cloud.google.com/ai-platform/prediction/docs/machine-types-online-prediction

【讨论】：