NLP 从业者如何为 maxent 分类器中的特征分配 lambda？

Question

我正在观看 maxent classfiers 上的coursera NLP video。在视频中，Christopher Manning 将 lambdas 分配给特征基于他们选择某个类的强度。例如，Manning 说 (~2:00) 特征 = “proceeding word is in and word is capitalized”（例如在魁北克）可能会挑选出一个班级位置，因此给予 1.8 的正权重——但是特征=“单词有口音”的权重为-.4，因为在美式英语中，它更有可能选择名称而不是地点。 Manning 然后说（~4:21）“感知器算法”和“支持向量机”有时被用来挑选特征的权重——在他继续展示一个对特征权重进行归一化的 maxent 模型之前。然而，在他的最大示例中，Manning 仍然使用他刚刚在视频的第 2 分钟左右挑选出来的 lambda。这些羔羊是从哪里来的？ nlp 从业者是否只是从领域知识中挑选出来（如 Manning 那样），然后与他们一起思考，直到算法得出正确的值？有没有更系统的方法？我对这个视频中发生的事情有误解吗？

Answer 1

那个视频主要是关于如何制定 maxent 模型。要找到 lambda 的实际值，您需要根据训练数据向学习系统提出优化问题。随后的视频section 8.6 展示了如何解决优化问题以找到正确的权重。