【问题标题】:is there a way to run code on GPUs from my terminal?有没有办法从我的终端在 GPU 上运行代码?
【发布时间】:2020-12-08 23:19:01
【问题描述】:

我一直在使用 Google Colab 等 GPU 加速服务,但我并不满意。我不喜欢在 Jupyter Notebooks 中编写所有代码,而且我还有一些其他问题。我想知道是否有一种方法可以设置一些东西,我可以从我的终端运行命令,比如upload train.py 将文件train.py 上传到服务器,然后运行run train.py 或类似的东西在该服务器上运行它,并让输出出现在我的本地终端中。有谁知道实现这样的目标的方法吗?

【问题讨论】:

  • 是的,如果您使用正确的库和包。已经可用于 Jupyter Notebooks、Python、R、Anaconda 或任何您能想到的数据科学环境
  • 事实上,Jupyter 已经可以做到这一点。 common 部署方法使用 Spark 和 Hadoop 等远程服务器,而不是本地机器
  • @PanagiotisKanavos 你能详细说明我可以使用哪些库/包吗?我试着用谷歌搜索了一下,没有找到任何看起来很有希望的东西。
  • 我猜不出你想做什么或问题出在哪里。有很多包和教程。它们都不是关于“从终端使用 GPU”。所有这些都是关于在幕后使用 GPU 处理大量数据。有时,它们是用于横向扩展处理的相同库,有时不是
  • 我怀疑这回答了你的问题:How to make Jupyter Notebook to run on GPU?

标签: python server gpu


【解决方案1】:

.. 如果有办法设置一些东西,我可以从我的终端运行命令,比如上传 train.py 将文件 train.py 上传到服务器,然后运行 ​​run train。 py 或类似的东西在该服务器上运行它

如果您说的是在带有 GPU 的 google colab 服务器上运行代码,

我记得他们更新了他们的政策,现在您只能通过 Colab 笔记本在 Google Colab 上使用 GPU。如果你有一个带 GPU 的 Linux 服务器,你可以通过 SSH 连接到它并安装 Cuda 和库,如 tensorflow_gpupytorch 并运行你的代码。

如果您正在寻找 GPU 服务器的廉价替代品,请查看 thisthis 链接。

Heroku 是一种非 GPU 替代方案,您可以在其中制作代码原型,然后使用 AWS 或 Google Cloud 等任何云提供商。 (我记得 AWS 在注册时提供了相当多的免费 G​​PU 时间)。

还有另一个alternative,叫FloydHub,我听说有人叫heroku for deep learning。我没有亲自使用过,但这也可能是您想要的。


就个人而言,尽管效率不高。我在本地对代码进行原型制作,然后将它们上传到我的谷歌驱动器,并在谷歌 Colab GPU 上进行最终训练。这是一个不必要的步骤,但这是我在不租用服务器的情况下能找到的最好的步骤。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-10-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-07-18
    相关资源
    最近更新 更多