在实时系统中使用 sklearn DictVectorizer

Question

任何二进制 one-hot 编码都只知道训练中看到的值，因此在拟合期间未遇到的特征将被静默忽略。 对于实时，您在一秒钟内拥有数百万条记录，并且功能具有非常高的基数，您需要使用数据更新您的哈希/映射器。

我们如何对哈希器进行增量更新（而不是在每次遇到新的特征值对时计算整个 fit()）？解决这个问题的建议方法是什么？

Answer 1

sklearn.feature_extraction.FeatureHasher 的美妙之处在于它不需要调用 fit。它是无状态的，可以在不提前知道词汇表的情况下转换字典。

例子：

from sklearn.feature_extraction import FeatureHasher

print "Feature Hasher 1"
f = FeatureHasher()
mat = f.transform([{"A":1, "B":2}])
print "Indicies:",mat.indices
print "Values:", mat.data

print

print "Feature Hasher 2"
f = FeatureHasher()
mat = f.transform([{"B":2, "C":3}])
print "Indicies:",mat.indices
print "Values:", mat.data

生产：

Feature Hasher 1
Indicies: [628086 849870]
Values: [-2.  1.]

Feature Hasher 2
Indicies: [196981 628086]
Values: [-3. -2.]

如您所见，即使使用新功能哈希器 "B" 始终映射到 628086。

为避免与大量特征发生哈希冲突，您应该使用具有较大 n_features 值的 FeatureHasher。

f = FeatureHasher(n_features=2**30)

此外，如果您稍后重新实例化 FeatureHasher，请务必为兼容的特征映射使用相同的 n_features 值。

这确实使您的模型有必要支持稀疏特征集。对于SGDClassifier，这是使用sparsify() 方法设置的。

见：http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier.sparsify