如何处理文本和数字特征的组合？答案

【问题标题】：How to deal with combination of text and numeric features?如何处理文本和数字特征的组合？
【发布时间】：2013-05-25 12:33:59
【问题描述】：

查看 Kaggel 的 Job Salary Prediction，我看到了数字特征（如 Category）和文本特征（如 FullDescription）。

如何对此类数据进行培训？我考虑过使用TfidfTransformer 对文本进行矢量化，但是它会创建许多学习算法（例如RandomForestRegressor）拒绝使用的稀疏矩阵。另外，一旦我有了文本的特征向量，如何将它与其他特征结合起来？

关于如何处理此类数据的任何指示？

谢谢！

【问题讨论】：

【解决方案1】：

我将首先独立学习每个文本字段的 tf-idf 特征的线性模型，并将线性模型预测作为附加特征添加到其他特征中，并在组合特征上训练 ExtraTreesRegressor 或 GradientBoostedTreeRegressor。

【讨论】：

谢谢，这是个好主意 - 我会试试看。
让我们知道组合模型是否比仅针对文本特征的线性模型或仅针对非文本特征的随机森林更好。
线性模型回归器（例如 ElasticNet 和 SGDRegressor）应该开箱即用，非线性 SVR 或 NuSVR 回归器也是如此。基于树的回归器尚不支持稀疏输入。
@ogrisel：您期望通过使用这种双模型方法获得多少收益？为什么不将哈希向量器与 SGD（或任何其他允许部分拟合的线性模型）结合使用？
SGD 是一个线性模型，通常对于高维数据（例如单独的词袋特征）来说已经足够了。然而，对于其余特征，它们可能具有预测非线性交互，可能会被内核 SVM、GBRT 或 Extra Trees 回归模型利用。