【问题标题】:Downloading Big Packages using conda in batches使用 conda 批量下载大包
【发布时间】:2021-05-27 06:42:43
【问题描述】:

我很好奇我是否可以使用 conda 批量下载大包(比如在我们可以恢复中断下载的网络浏览器中)。

我想更新我的 pytorch 包,但对于我有限的移动数据来说太大了。

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    libuv-1.40.0               |       he774522_0         255 KB
    pytorch-1.8.1              |py3.7_cuda10.1_cudnn7_0 836.4 MB  pytorch
    torchvision-0.9.1          |       py37_cu101         7.3 MB  pytorch
    ------------------------------------------------------------
                                           Total:       843.9 MB

The following NEW packages will be INSTALLED:

  libuv              pkgs/main/win-64::libuv-1.40.0-he774522_0

The following packages will be UPDATED:

  pytorch                      1.4.0-py3.7_cuda101_cudnn7_0 --> 1.8.1-py3.7_cuda10.1_cudnn7_0
  torchvision                              0.5.0-py37_cu101 --> 0.9.1-py37_cu101

【问题讨论】:

  • 您可以修改我编写的脚本in this answer 以使用您喜欢的任何工具下载压缩包。在那里,我使用了wget-c 标志,它将恢复部分下载。您需要的唯一额外步骤是将下载的包解压缩到包缓存中。

标签: python pytorch conda


【解决方案1】:

不,这在 conda 中是不可能的。完全下载的文件不会重新下载,但中断前只下载了部分的文件需要重新下载:

https://github.com/conda/conda/issues/800

【讨论】:

  • 我会用“无法使用 Conda CLI”来限定它。可以结合使用wget 和延续标志来进行下载,基于in this answer 演示的内容。所以,一个自定义的 FETCH 程序,让 Conda 仍然处理求解和 LINK 程序。
猜你喜欢
  • 1970-01-01
  • 2017-05-02
  • 1970-01-01
  • 1970-01-01
  • 2021-10-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-10-13
相关资源
最近更新 更多