【问题标题】:How do I set up TensorFlow in the Google cloud?如何在 Google 云中设置 TensorFlow?
【发布时间】:2016-09-10 22:35:24
【问题描述】:

如何在 Google 云中设置 TensorFlow?我了解如何创建 Google Compute Engine 实例,以及如何在本地运行 TensorFlow; recent Google blog post 建议应该有一种方法来创建 Google Compute Engine 实例并在云中运行 TensorFlow 应用程序:

机器学习项目可以有多种规模,正如我们所见 借助我们的开源产品 TensorFlow,项目通常需要扩展 向上。一些小任务最好使用运行的本地解决方案来处理 一个人的桌面,而大型应用程序需要规模 和托管解决方案的可靠性。谷歌云机器学习 旨在支持全系列并提供从 本地到云环境。

即使我对此进行了深入研究,但考虑到微软 Azure 等竞争平台提供的内容,必须有一种方法来设置 TensorFlow 应用程序(本地开发并“无缝”扩展)到云端,大概使用 GPU)在 Google 云中。

例如,我想在我的 IDE 中本地工作,为我的项目调整功能和代码,在那里运行有限的训练和验证,并定期将代码推送到云端以使用(任意)更多资源在那里运行训练,然后保存并下载训练好的模型。或者甚至更好,只需使用可调资源在云中运行图表(或图表的一部分)。

有没有办法做到这一点;有计划吗?如何在 Google 云中设置 TensorFlow?

【问题讨论】:

标签: tensorflow machine-learning google-cloud-platform google-cloud-ml google-cloud-tpu


【解决方案1】:

根据用例,可以有多种方式。目前我想到了以下两种方法:

1) 选择项目/计算机引擎/虚拟机实例/创建虚拟机实例。 然后转到VM实例,检查实例/单击SSH(需要“gcloud”)/复制命令并在云shell中运行。 现在您在自己的虚拟机中。在此处安装 pip3。安装 tensorflow(cpu 或 gpu 版本)。并使用它:)

目前,google cloud 支持 tensorflow 版本

如果您对使用 tensorflow-gpu==2.0 感兴趣,可以使用 google Cloud Funcitons,网址为 https://cloud.google.com/blog/products/ai-machine-learning/how-to-serve-deep-learning-models-using-tensorflow-2-0-with-cloud-functions

2) 你可以使用谷歌云AI平台 https://cloud.google.com/ml-engine/docs/packaging-trainer

目前还支持 tensorflow 版本

【讨论】:

    【解决方案2】:

    Kubernetes blog 所述,您可以在 Kubernetes 上运行 TensorFlow。它链接到“step-by-step tutorial,它向您展示了如何创建 TensorFlow Serving Docker 容器以服务于 Inception-v3 图像分类模型”,您应该能够适应运行您自己的 TensorFlow 工作负载。您可以使用Google Container Engine 在 Google 的云上运行 Kubernetes。

    或者,正如 Aaron 所提到的,您可以尝试注册以抢先体验 Google 的 CloudML 产品。

    【讨论】:

    • 那是关于使用已经训练好的模型在云中运行推理,对吧?我有兴趣在云中训练模型。
    • 这种方法会自动水平扩展吗?
    【解决方案3】:

    使用 TPU 加速在 Google Cloud Platform 上使用 TensorFlow 最直接的方法之一是使用 ctpu 命令:

    https://cloud.google.com/tpu/docs/quickstart

    这将创建您需要的所有内容,并将您登录到可以运行 TensorFlow 程序的 VM。

    如果您想避免使用 Google 云外壳,这里有更多关于如何从桌面运行 ctpu 的信息:

    https://github.com/tensorflow/tpu/tree/master/tools/ctpu

    【讨论】:

      【解决方案4】:

      要在 Google Cloud 上运行 TensorFlow,请按优先顺序:

      (1) 使用 Cloud ML 引擎。这是一项完全托管的服务,支持培训和服务。您可以在 CPU、GPU 和 TPU 之间进行选择。

      (2) 使用 Deep Learning VM,这是一个已安装 TensorFlow 的 Google Compute Engine 实例:https://cloud.google.com/deep-learning-vm/docs/ -- 您可以将 GPU 添加到此实例。

      (3) 在 GKE 上使用 Kubeflow(在 Kubernetes 上使用 TensorFlow)。

      【讨论】:

        【解决方案5】:

        这仍然是有限的预览。您能做的最好的事情就是注册并希望他们选择您作为预览的一部分。

        https://cloud.google.com/ml/

        编辑:CloudML 现在处于公开测试阶段,因此任何人都可以使用它而无需注册和请求访问。我们希望您试一试!我们有一个问题标签:google-cloud-ml。

        【讨论】:

        • 这看起来是唯一的选择。我希望他们做出回应:正在决定使用哪个 ML 平台。
        【解决方案6】:

        我建议您按照本教程逐步指导您:

        https://www.youtube.com/watch?v=N422_CYuzZg

        这里是设置帐户等的主要文章。

        https://cloud.google.com/solutions/machine-learning-with-financial-time-series-data

        【讨论】:

        • 这只是云中的(慢)Jupyter 笔记本(无法控制 GPU 访问或性能调整),可以访问一些大数据 API,不是吗?
        • 据我所知,谷歌云没有 GPU 或任何其他性能调整。
        猜你喜欢
        • 2020-04-08
        • 2020-04-22
        • 1970-01-01
        • 2019-01-30
        • 1970-01-01
        • 2020-04-14
        • 1970-01-01
        • 1970-01-01
        • 2018-09-09
        相关资源
        最近更新 更多