【问题标题】:Issues in scaling GCP AI model TF serving扩展 GCP AI 模型 TF 服务的问题
【发布时间】:2021-01-15 08:06:31
【问题描述】:

我已在 GCP AI 模型 TF 上部署了 MNIST 数据集,并面临扩展问题。我想知道其他人是否遇到过类似的问题,以及他们将如何解决它以扩大规模。

行为

  1. 如果我每秒创建 3 个请求,模型会在单核上正确给出预测
  2. 如果将请求数增加到每秒 1000 个,我会得到“代码”:403, "message": "请求的身份验证范围不足。", 或 javax.net.ssl.SSLHandshakeException:远程主机终止握手

在另一个模型版本上,我非常确定它可以与 java 客户端一起工作,并且它也可以通过 GCP 测试和使用 UI 工作,但由于我尝试以 1000/秒的速度进行缩放,所以它已经停止工作。这是在 n1-highmem-2 服务器上。它的给出错误

 "{
  "error": {
    "code": 400,
    "message": "Request contains an invalid argument.",
    "errors": [
      {
        "message": "Request contains an invalid argument.",
        "domain": "global",
        "reason": "badRequest"
      }
    ],
    "status": "INVALID_ARGUMENT"
  }"

有几个问题是 tf 为模型服务 gcp ai 与部署在 vm 上时是否有任何优势?感谢您的帮助

【问题讨论】:

    标签: google-cloud-platform tensorflow-serving google-cloud-ai


    【解决方案1】:

    您可以发送的online prediction requests per minute 数量有限制。我的假设是,当您尝试启动 60000 个请求时,您超过了 6000 个请求/分钟的限制,十倍以上。虽然错误消息不是一目了然,但它们可能来自那里。

    您可以通过在 GCP 控制台中检查 quotas page 并在 AI Platform Training & Prediction API 服务下查找“每分钟在线预测请求数”来确认这一点。幸运的是,如果您需要更多的扩展能力,可以使用increasing some of these limits。

    关于通过 AI Platform 提供模型的优势,主要优势在于您不必关心虚拟机周围的架构,因为它会在更多请求到达时自动扩展(假设您已经设置了所需的限制)适合您的用例)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-09-28
      • 2017-05-16
      • 1970-01-01
      • 1970-01-01
      • 2012-10-09
      • 2023-01-25
      • 1970-01-01
      相关资源
      最近更新 更多