只是为了补充 carlosdc 的好答案。
使 vowpal wabbit 与众不同并使其能够扩展到 tera-feature (1012) 数据大小的一些功能是：
在线权重向量：
vowpal wabbit 在内存中维护一个weight-vector，它本质上是它正在构建的模型的权重向量。这就是您在问题中所说的“状态”。
无限数据大小：
权重向量的大小与特征（独立输入变量）的数量成正比，而不是与示例（实例）的数量成正比。这就是 vowpal wabbit 与许多其他（非在线）学习者不同，在空间上扩展的原因。由于它不需要像典型的批处理学习器那样将所有数据加载到内存中，它仍然可以从太大而无法放入内存的数据集中进行学习。
集群模式：
vowpal wabbit 支持在集群中的多台主机上运行，在节点上施加二叉树图结构并使用从叶到根的all-reduce 减少。
哈希技巧：
vowpal wabbit 使用所谓的hashing trick。所有功能名称都使用murmurhash-32 散列成一个整数。这有几个优点：非常简单且省时，不必处理哈希表管理和冲突，同时允许功能偶尔发生冲突。事实证明（在实践中）具有数千个不同特征的训练集中的少量特征冲突类似于添加隐式正则化项。这与直觉相反，通常会提高而不是降低模型的准确性。它也与特征空间的稀疏性（或密度）无关。最后，它允许输入特征名称是任意字符串，这与大多数传统学习器不同，后者要求特征名称/ID 既是 a) 数字又是 b) 唯一的。
并行度：
vowpal wabbit 通过在两个单独的线程中运行解析和学习来利用多核 CPU，从而进一步提高其速度。这就是使vw 能够像读取数据一样快速学习的原因。事实证明，与直觉相反，vw 中大多数支持的算法都受到 IO 速度的瓶颈，而不是学习速度。
检查点和增量学习：
vowpal wabbit 允许您在学习时将模型保存到磁盘，然后加载模型并使用 --save_resume 选项从上次中断的地方继续学习。
类似测试的错误估计：
vowpal wabbit 计算的平均损失总是在看不见的（样本外）数据上（*）。这消除了对预先计划的保留或进行交叉验证的麻烦。您在训练期间看到的错误率类似于“测试”。
超越线性模型：
vowpal wabbit 支持多种算法，包括矩阵分解（大致稀疏矩阵 SVD）、潜在狄利克雷分配 (LDA) 等。它还支持动态生成术语交互（双线性、二次、三次和前馈 sigmoid 神经网络，具有用户指定的单元数）、多类分类（除了基本回归和二元分类）等等。
github上the official vw wiki有教程和很多例子。
(*) 一个例外是，如果您使用带有--passes N 选项的多次传递。