【发布时间】：2021-09-10 04:18:38
【问题描述】：
我正在 Cora 数据集上训练 GCN（图卷积网络）。
Cora 数据集具有以下属性：
Number of graphs: 1
Number of features: 1433
Number of classes: 7
Number of nodes: 2708
Number of edges: 10556
Number of training nodes: 140
Training node label rate: 0.05
Is undirected: True
Data(edge_index=[2, 10556], test_mask=[2708], train_mask=[2708], val_mask=[2708], x=[2708, 1433], y=[2708])
由于我的代码很长，我只把我的代码的相关部分放在这里。首先，我将 Cora 数据集拆分如下：
def to_mask(index, size):
mask = torch.zeros(size, dtype=torch.bool)
mask[index] = 1
return mask
def cora_splits(data, num_classes):
indices = []
for i in range(num_classes):
# returns all indices of the elements = i from data.y tensor
index = (data.y == i).nonzero().view(-1)
# returns a random permutation of integers from 0 to index.size(0).
index = index[torch.randperm(index.size(0))]
# indices is a list of tensors and it has a length of 7
indices.append(index)
# select 20 nodes from each class for training
train_index = torch.cat([i[:20] for i in indices], dim=0)
rest_index = torch.cat([i[20:] for i in indices], dim=0)
rest_index = rest_index[torch.randperm(len(rest_index))]
data.train_mask = to_mask(train_index, size=data.num_nodes)
data.val_mask = to_mask(rest_index[:500], size=data.num_nodes)
data.test_mask = to_mask(rest_index[500:], size=data.num_nodes)
return data
train 如下（取自here，稍作修改）：
def train(model, optimizer, data, epoch):
t = time.time()
model.train()
optimizer.zero_grad()
output = model(data)
loss_train = F.nll_loss(output[data.train_mask], data.y[data.train_mask])
acc_train = accuracy(output[data.train_mask], data.y[data.train_mask])
loss_train.backward()
optimizer.step()
loss_val = F.nll_loss(output[data.val_mask], data.y[data.val_mask])
acc_val = accuracy(output[data.val_mask], data.y[data.val_mask])
def accuracy(output, labels):
preds = output.max(1)[1].type_as(labels)
correct = preds.eq(labels).double()
correct = correct.sum()
return correct / len(labels)
当我在 10 次运行中运行 200 个 epoch 时，我获得了：
tensor([0.7690, 0.8030, 0.8530, 0.8760, 0.8600, 0.8550, 0.8850, 0.8580, 0.8940, 0.8830])
Val Loss: 0.5974, Test Accuracy: 0.854 ± 0.039
张量中的每个值都属于每次运行的模型准确度，所有这 10 次运行的平均准确度为 0.854，std ± 0.039。
可以观察到，从第一次运行到第 10 次运行的准确度大幅提高。因此，我认为该模型过度拟合。过拟合的一个原因是，在代码中，模型在训练时已经看到了测试数据，因为在 train 函数中，有一行 output = model(data) 所以模型是在整个数据上训练的。我打算只在部分数据（类似于data[data.train_mask]）上训练我的模型，但问题是我无法通过data[data.train_mask]，因为forward 模型的forward 函数@ 987654335@ （来自this repository):
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = F.relu(self.conv1(x, edge_index))
for conv in self.convs:
x = F.relu(conv(x, edge_index))
x = F.relu(self.lin1(x))
x = F.dropout(x, p=0.5, training=self.training)
x = self.lin2(x)
return F.log_softmax(x, dim=-1)
如果我将data[data.train_mask] 传递给GCN 模型，那么在上述forward 函数中的x, edge_index = data.x, data.edge_index、x 和edge_index 无法从data[data.train_mask] 中检索到。因此，我需要找到一种方法来拆分 Cora 数据集，以便我可以将其中的特定部分与节点、边缘索引和其他属性一起传递给模型。我的问题是怎么做？
此外，非常感谢任何关于 k 折交叉验证的建议。
【问题讨论】：
-
请注意，vanilla GCN 处理 transductive 学习，在训练期间可以看到测试数据（不知道标签）。您所说的是 inductive 学习，您可能需要更改更多代码（例如，使用 minibatches）以使其表现得相当好。有关示例，请参阅 GraphSage。
-
@hkchengrex 谢谢。我检查了您提供的链接以及相应的代码（GitHub 存储库）和
citation_eval.pyhere。他们使用的数据集是“Protein-Protein Interactions”和“Reddit”，它们的结构与 Cora 数据集不同。 Cora 数据集的挑战在于它只包含一个图，创建小批量并不简单。 -
是的。就其本质而言，单图 Cora 更适合于转换设置。您可能需要考虑您真正想要实现的目标，即更改数据集或更改设置。
标签： python python-3.x validation neural-network pytorch