使用 keras 进行文档分类 - 数字的分层序列

Question

我目前正在处理以下情况的分类问题：

标签的长度总是 5 位，例如：

99923 this is sample document one
56743 this is sample document two
...

第一个数字代表某个类别，后面的每个数字代表一个子类别，依此类推。

目前我正在使用具有以下设置的 Keras：

model = Sequential()
model.add(Dense(512, input_shape=(vocab_size,)))
model.add(Activation('relu'))
model.add(Dropout(0.3))
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.3))
model.add(Dense(num_labels))
model.add(Activation('softmax'))
model.summary()
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

由于我的训练数据有限（总共大约 8 万个样本），我决定只使用第一个数字来估计主类别，我得到了相当不错的结果，准确率约为 90%，无需任何预处理.

5 - this is sample of maincategory 5
9 - this is sample of maincategory 9
...

现在我想进一步接近一个级别，并使用两位数来预测主类别和第一个子类别。这给我带来了一个问题，例如，通常没有一个样本。 “12”的组合。

51 - this is sample of maincategory 51
95 - this is sample of maincategory 95
...

我告诉 Keras 只使用包含至少 1 个样本的标签（知道这是废话），并获得了大约 40 个标签，总体准确率为 85%，考虑到我已经丢失了很多，这似乎相当不错样本。

我的问题是：

这种预测可以更容易/更有效地完成吗？如果我让我的“两位数”模型从未经训练的类别中预测出一个看不见的样本，我会遇到将样本拟合到错误类别中的问题......

我可以使用 Keras 解决这个预测问题吗？

Answer 1

好吧，正如我在 cmets 部分中提到的，我想到的一个想法是为层次结构中的每个类别级别使用一个 softmax 层。例如，对于三个分类级别，我们有三个分类器层：

from keras.models import Model

inp = Input(shape=(vocab_size,))
x = Dense(512, activation='relu', input_shape=(vocab_size,))(inp)
x = Dropout(0.3))(x)
x = Dense(128, activation='relu'))(x)

cat_1 = Dense(num_labels_cat1, activation='softmax')(x)
cat_2 = Dense(num_labels_cat2, activation='softmax')(x)
cat_3 = Dense(num_labels_cat3, activation='softmax')(x)

model = Model(inp, [cat_1, cat_2, cat_3])

就好像所有分类级别的信息都被编码在最后一个非分类层的输出中。因此，将其传递给专门的分类器层使模型能够提取有关相应分类级别的信息。

请注意，这可能有也可能没有良好的性能。你必须尝试找出答案。不过，仍有改进的余地。例如，您可以使用 Embedding 层并在模型中包含 Conv1D 或 LSTM 层。

如果您不熟悉 Keras 功能 API，您可能需要阅读 official guide。

Answer 2

如果您的每个级别的标签都是相互关联的（甚至具有高度依赖性），那么以下方法可能有助于改进您的模型。

将第一级分类器输出的输出添加为下一级分类器的输入。

这有助于您的模型将较高级别的预测用于较低级别的分类。