如何准备这个 PyTorch 官方 ImageNet 示例？

Question

这是一个关于准备数据集的技术问题。

我正在尝试遵循这个官方示例

https://github.com/pytorch/examples/tree/master/imagenet

但我什至无法开始，因为我不了解要求。它说

1. 安装 PyTorch (pytorch.org)
2. pip install -r requirements.txt
3. 从http://www.image-net.org/ 下载 ImageNet 数据集 然后，使用以下 shell 脚本将验证图像移动到标记的子文件夹

对于第一个要求，我正在使用 Colab，所以我认为我不需要在本地电脑上再次安装 PyTorch。

第二个不起作用，因为显然没有名为“requirements.txt”的模块。这就是我开始意识到这个 git repo 上有一些我完全不明白如何使用的地方。无论如何，我可以直接从 git repo 打开文本文件，它只是说使用torch 和torchvision。好的，我导入它们没有问题。

第三个要求。于是我去了ImageNet网站并签署了研究使用协议。现在要求告诉我下载 ImageNet 数据，但我在那里看到了很多不同的选项（比如按出版年份、竞赛、决议等目的）。哪个是数据集？

我是 PyTorch 的新手，我想我缺少一些关于 PyTorch 开发社区如何通过这种方式提供示例的协议...

任何帮助将不胜感激。谢谢。

Answer 1

显然没有名为“requirements.txt”的模块

它是那个 repo 中的 requirements.txt 文件。您可以在这样的文件中添加包名称并使用 pip 一次安装所有包，这就是pip install -r requirements.txt 的原因。当然，由于它只包含torch和torvision，所以你不需要安装它，因为它们已经安装在google colab上。

数据集是哪一个？

我无法在没有注册的情况下访问此页面，尽管您可以下载任何数据集（任何年份等），重要的是为了使用 pytorch 使用 Imagefolder api（这是使用的在你提到的repo中），它的结构应该是这样的：

train/
    dog/
        xxx.png
        xxy.png
    cat/
        xxz.png
val/
    ...

您可以使用他们提到的用于 Imagenet 数据的脚本来执行此操作。

如果您刚刚开始使用 pytorch，我建议您通过 pytorch tutorials，例如 this one。