理解用于深度学习的 python 命令的困惑

Question

我最近开始使用这个 tutorial 使用 pytorch 学习深度学习。

我对这些代码行有疑问。

参数train=True表示将取出训练数据。

但是训练 50% 需要多少数据？

我们如何指定训练的数据量。同样，无法理解batch_size 和num_workers，加载数据数据是什么意思？ batch_size 参数是否类似于深度学习中用于训练的参数？

                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

Answer 1

batch_size 是您想要的批次大小（来自您提供的数据集的数据组），num_workers 是处理批次的工人数量，基本上是多处理工人。

但是训练 50% 需要多少数据？

DataLoader 不提供任何方式来控制您希望提取的样本数量。您将不得不使用切片迭代器的典型方法。

要做的最简单的事情（没有任何库）是在达到所需的样本数量后停止。

nsamples = 10000
for i, image, label in enumerate(train_loader):
    if i > nsamples:
        break
# Your training code here.

或者，您可以使用 itertools.islice 获取前 10k 个样本。像这样。

for image, label in itertools.islice(train_loader, stop=10000):

    # your training code here.

你可以参考这个answer

Answer 2

如果您之前没有拆分数据，trainloader 将使用整个 train 文件夹。您可以通过拆分数据来指定训练量，请参阅：

from torchvision import datasets

# convert data to a normalized torch.FloatTensor
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
    ])

# choose the training and test datasets
train_data = datasets.CIFAR10('data', train=True,
                              download=True, transform=transform)
test_data = datasets.CIFAR10('data', train=False,
                             download=True, transform=transform)
valid_size = 0.2

# obtain training indices that will be used for validation
num_train = len(train_data)
indices = list(range(num_train))
np.random.shuffle(indices)
split = int(np.floor(valid_size * num_train))
train_idx, valid_idx = indices[split:], indices[:split]

# define samplers for obtaining training and validation batches
train_sampler = SubsetRandomSampler(train_idx)
valid_sampler = SubsetRandomSampler(valid_idx)

# prepare data loaders (combine dataset and sampler)
train_loader = torch.utils.data.DataLoader(train_data, batch_size=batch_size,
    sampler=train_sampler, num_workers=num_workers)
valid_loader = torch.utils.data.DataLoader(train_data, batch_size=batch_size, 
    sampler=valid_sampler, num_workers=num_workers)
test_loader = torch.utils.data.DataLoader(test_data, batch_size=batch_size, 
    num_workers=num_workers)```

批量大小是您通过迭代（时期）捕获的文件数。例如，如果您的 training_size 为 1000，并且您的 batch_size 为 10，那么每个 epoch 将包含 100 次迭代。

worker的数量用于对batch的数据进行预处理。更多的工人将消耗更多的内存使用，工人有助于加快输入和输出过程。 num_workers = 0 表示将在需要时进行数据加载， num_workers > 0 表示您的数据将使用您定义的工人数量进行预处理。