Pytorch 中 WebDataset 的大小

Question

对于采用默认数据集（例如 datasets.ImageFolder）的 Pytorch 数据加载器，我们可以通过 len(dataloader) 找到数据加载器使用的数据集的大小。但是，WebDataset 呢？ 由于 WebDataset 是一个 PyTorch 数据集，是否可以获得采用 WebDataset 的加载器的大小？

https://webdataset.github.io/webdataset/

Answer 1

WebDataset 不提供 __len__ 方法，因为它符合 PyTorch IterableDataset 接口。 IterableDataset 是为类似流的数据而设计的，并认为拥有 len() 是错误的。