解释 Vowpal Wabbit 的基本输出答案

【问题标题】：Interpreting basic output from Vowpal Wabbit解释 Vowpal Wabbit 的基本输出
【发布时间】：2014-11-08 09:55:59
【问题描述】：

我有几个关于简单运行大众汽车的输出的问题。我已经阅读了互联网和 wiki 站点，但仍然不确定一些基本的事情。

我在波士顿住房数据上运行了以下内容：

vw -d housing.vm --progress 1

housing.vm 文件设置为（部分）的位置：

输出是（部分）：

问题 1：

1) 将平均损失列考虑为以下步骤是否正确：

a) 预测为零，因此第一个平均损失是第一个示例的平方误差（预测为零）

b) 在示例 1 上建立模型并预测示例 2。平均现在的 2 平方损失

c) 在示例 1-2 上建立模型并预测示例 3。平均现在的 3 平方损失

d) ...

执行此操作，直到到达数据的末尾（假设一次通过）

2) 当前的特征列是什么？它似乎是非零特征的数量+截距。示例中显示的内容表明，如果特征为零，则不计算在内 - 这是真的吗？例如，第二条记录的“ZN”值为零。大众真的认为缺少该数字功能吗？

【问题讨论】：

【解决方案1】：

您的陈述基本上是正确的。默认情况下，VW 进行在线学习，因此在步骤 c 中，它采用当前模型（权重）并使用当前示例对其进行更新（而不是再次从所有之前的示例中学习）。

如您所想，当前 features 列 是当前示例的（非零）特征数。除非您指定--noconstant，否则会自动包含拦截功能。

缺失特征和零值特征没有区别。两者都意味着你不会更新相应的权重。

【讨论】：

很高兴我明白了，谢谢！不过，我对这些感到好奇——我对平均损失的描述是否与 Langford 博士描述的“渐进验证”相同？选择一个大小为“s”的测试集的想法以及他所描述的这种想法似乎并不像我上面所说的那么简单。
当我回忆起 sgd 更新规则时，缺失的特征与零值相同的事实是有道理的。
如果您只通过一次（或使用--holdout_off），大众将使用（并报告）渐进式验证。这意味着：1. 您看到一个新示例及其正确标签，2. 您根据目前学习的模型计算此示例的损失（并且使用--progress 1，您会立即将其报告为“自上次以来”），3.您从示例中学习，即您根据当前示例更新模型。