【发布时间】：2010-10-01 07:12:37
【问题描述】：
谁能告诉我关于自然语言处理器的特征生成器是什么？
【问题讨论】：
-
您将不得不更加具体——您要问的是什么 NLP 任务？选择的特征类型和生成方式取决于任务。而且 NLP 有很多任务。
-
确切的引用是：“您必须自己根据数据训练名称查找器才能获得更好的结果。使用您自己的训练数据，您甚至可以使用 html 标签并优化特征生成。”
标签： nlp
【发布时间】：2010-10-01 07:12:37
【问题描述】：
如果我没看错的话，我相信这句话中的“特征生成”是指从文本中提取特征的过程。无需过多详细介绍，这基本上是获取您认为对您的预测/分类任务有用的数据维度，并将其放入向量表示中。
例如，假设我们试图创建一个分类器来确定电子邮件是否为垃圾邮件。我们可能会提取诸如CONTAINS_WORD_NIGERIA 或IS_FROM_PERSON_IN_CONTACT_LIST 之类的特征。或者，如果我们遵循上面的引用，我们可能会使用 html 标签（例如 PERCENT_OF_WORDS_IN_HREF_TAG）来制作专门的功能。正如您可能想象的那样，在进行特征工程时您可能会做得过火，而真正的挑战在于优化您的特征集以在看不见的数据上为您提供良好的结果。
【讨论】：