【问题标题】:PyTorch not working when using Pytorch with cuda 11.1: Dataloader将 Pytorch 与 cuda 11.1 一起使用时,PyTorch 无法正常工作:Dataloader
【发布时间】:2021-03-25 13:13:05
【问题描述】:

所以,我正在运行这个深度神经网络。通常,当我使用没有 cuda 的 pytorch 库使用 cpu 训练它时,它运行良好。

但是,我注意到当我安装 pytorch+cuda 11.1 时,每当我尝试枚举 Dataloader 时,都会抛出以下错误:

OSError: [WinError 1455] The paging file is too small for this operation to complete. Error loading "C:\Users\Name\Desktop\Folder\lib\site-packages\torch\lib\cudnn_adv_train64_8.dll" or one of its dependencies.

但是,当我使用 pip 卸载 pytorch+cuda 并在没有 cuda 的情况下安装 pytorch 时,我的脚本运行良好。

pytorch 的两个版本都是 1.8.0

有人知道如何解决这个问题吗?希望能够使用这个 gpu。

注意:这是我设置数据加载器的方式:

    train_dataloader = DataLoader(
        train_dataset,
        batch_size=args.batch_size,
        num_workers=args.num_workers,
        shuffle=True,
        pin_memory=(device == "cuda"),
    )

【问题讨论】:

    标签: python pytorch


    【解决方案1】:

    在 PyTorch github 页面上查看此问题:https://github.com/Spandan-Madan/Pytorch_fine_tuning_Tutorial/issues/10

    基本上你需要在Windows中关闭自动分页文件管理。

    • Windows 键
    • 搜索:高级系统设置
    • 高级选项卡
    • 性能 - “设置”按钮
    • 高级选项卡 - “更改”按钮
    • 取消选中“自动管理所有驱动器的页面文件大小”复选框
    • 选择“系统管理大小”单选按钮。
    • 重启

    【讨论】:

    • 这成功了!但是,我应该注意,将其设置为系统管理大小不起作用,而是我必须将一些令人讨厌的大数字设置为初始和最大允许大小。
    【解决方案2】:

    当操作系统当前正在扩展页面文件时,也会发生此错误。将页面文件设置为 FIXED SIZE 为我解决了这个问题。

    按以下步骤进行:

    • 进入高级系统设置
    • 选择标签“高级”
    • 点击第一个“设置”按钮
    • 选择标签“高级”
    • 点击“更改”按钮
    • 取消选中“自动管理所有驱动器的页面文件大小”
    • 选择“自定义尺寸”选项
    • 将所需大小输入为“初始大小”和“最大大小”(这样可以确保以最大大小创建页面文件,并且不需要扩展)
    • 确认所有对话框窗口并重新启动

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-12-08
      • 2018-11-29
      • 2020-02-29
      • 2019-01-22
      • 2020-04-17
      • 1970-01-01
      • 1970-01-01
      • 2021-07-03
      相关资源
      最近更新 更多