【发布时间】:2019-03-05 22:56:20
【问题描述】:
在tutorial 的“训练机器学习分类器以从医学文献中提取关系”中,作者进行了实体替换,因为“我们不希望模型根据特定的实体名称进行学习,但我们想要它根据课文的结构来学习”。
这通常是正确的还是取决于数据集或使用的模型?
【问题讨论】:
标签: machine-learning scikit-learn nlp nltk
在tutorial 的“训练机器学习分类器以从医学文献中提取关系”中,作者进行了实体替换,因为“我们不希望模型根据特定的实体名称进行学习,但我们想要它根据课文的结构来学习”。
这通常是正确的还是取决于数据集或使用的模型?
【问题讨论】:
标签: machine-learning scikit-learn nlp nltk
与其他文本转换技术(包括词干提取和词形还原)非常相似,实体替换通常是关系提取过程的一部分,因为它增加了每个特征的观察次数。根据数据集的大小、特征的质量、特征提取的类型和模型的复杂性,比率的增加可能会对您的问题有所帮助。
一个好的经验法则是根据您对数据集的理解定义您的目标,然后定义您的可接受的表示。例如,给定的教程旨在了解 miRNA 和基因之间的关系。作者 ok 将 miRNA-335、miRNA-342、miRNA-100 等分组在同一个实体名称下。
在您对语料库没有领域理解的情况下,您可以在没有实体替换的情况下开始,检查结果并了解模型的偏差-方差权衡。然后,如果需要,在尝试一些聚类技术后尝试实体替换。
【讨论】: