哪里可以便宜地托管小型 GPU 机器学习 API

Question

我正在尝试制作一些新的 Web API，这些 API 将极大地受益于 GPU 处理，用于完成/训练过的机器学习模型。我想让它成为一个公开可用的端点。但是 我不知道在哪里托管机器学习爱好项目 API 的实际位置？ 如果有更好的方法（即仅在处理不常见的 API 请求时使用 GPU）我我也对此持开放态度。

AWS 定价https://aws.amazon.com/ec2/pricing/on-demand/

我能看到的最便宜的是 0.50 美元/小时，大约是每月 350 美元

谷歌云定价https://cloud.google.com/compute/gpus-pricing

我能看到的最便宜的是每月 180 美元

巨大的人工智能定价https://vast.ai/console/create/

我发现最便宜的是 0.077 美元/小时，即每月 56 美元

我发现这个 quora 帖子 https://www.quora.com/Which-cloud-hosting-provides-GPU-servers-at-the-lowest-cost 将我指向 https://www.paperspace.com/pricing，这是一个每月 8 美元的解决方案，但我不确定这是否真的是服务器托管。

Answer 1

检查VPS Smart。我认为这是小型项目的最佳选择之一。起价 45.00 美元。

Answer 2

如果您计划托管您的 ML 项目 API，那么我建议您使用具有 K8s 服务能力的平台。这样它就可以在您的 API 负载时按需自动管理向上/向下扩展。

否则你最终会在网上争抢资源。我认为 ovhcloud 和 Alibabacloud 提供托管的 Kubernetes 产品，并且可能会根据您的要求降低成本。

如果您的唯一目的是训练 ML 模型，那么您可以探索以下服务：

1. Q Blocks - 用于 ML 的分散式 GPU 计算：成本降低 80%
2. Paperspace - 用于 ML 的 GPU 优化平台
3. Google colab - 免费，但有很多限制

Answer 3

有不同的可能性：

• Google Colab：它是免费的，包括带有漂亮用户界面的 Jupyter 笔记本系统。它与 Google Drive 和 GitHub 集成。你可以在这方面进行合作。 GPU 和 TPU 均可用。
• GoogleCloud：比 Google Colab 更强大、更可定制。提供 GPU 和 TPU。
• Preemptible instances on GoogleCloud：抢占式 VM 提供与常规计算实例相同的机器类型和选项，最长可使用 24 小时。它们适用于大多数学习任务。与普通的 GoogleCloud 相比，它可以将您的 Compute Engine 成本降低多达 80%！
• AWS EC2：即使配置不是最简单的配置，spot instances 定价也提供了一种方法，可以节省高达 90% 的按需价格。

更新：

• Vast.ai: GPU 共享经济与市场
• Paperspace 也为爱好者提供免费的 5GB 持久存储和 6 小时运行时间。其他计划可用（200GB 永久存储每月 8 美元）。计算的每小时价格可用there（GPU：大多数 GPU 为 0.5-2.9 美元/小时）