【问题标题】：Can I add a layer of meta data in a text classification model?我可以在文本分类模型中添加一层元数据吗？
【发布时间】：2021-01-20 08:21:50
【问题描述】：
我正在尝试创建一个多类分类器来识别来自一组议会成员的 Facebook 帖子主题。
我正在使用 SimpleTransformers 组合一个基于 XML-RoBERTa 的分类模型。有没有办法添加一个带有元数据的嵌入层来改进分类器？ （例如，将政党与文字本身一起添加到每个 Facebook 帖子中。）
【问题讨论】：
标签：
python
deep-learning
nlp
text-classification
bert-language-model
【解决方案1】：
如果你有大量的训练数据，我建议将元数据添加到输入字符串中（可能与[SEP] 分开作为另一个句子）并训练分类。假设您有足够的训练示例（我猜数万可能就足够了），该模型肯定足够强大，可以了解元数据如何与输入句子相互作用。
如果您没有足够的数据，我建议仅运行 XLM-RoBERTa 以获取特征、独立嵌入元数据、连接特征并使用多层感知器进行分类。这可能是不可行的 SimpleTransformers，但如果您直接在 PyTorch 中编写分类代码，使用 Huggingface 的 Transformers 应该很容易。