【问题标题】:scikit-learn add extra data to SGDClassifierscikit-learn 向 SGDClassifier 添加额外数据
【发布时间】:2020-03-04 16:15:26
【问题描述】:

我正在尝试使用scikit-learn 进行文本分类。

我的文本分类不好。我认为我可以通过添加可以以整数数组的形式推断的数据来改进预测。

例如,示例 1 将带有 [3, 1, 5, 2],而示例 2 将带有 [2, 1, 4, 2]。测试数据也是如此。

这个想法是分类器可以使用文本和数字来分类数据。

我已阅读 scikit learn 的文档,但找不到如何操作。这一定是可能的,因为在内部分类的所有内容都是数字向量。所以添加另一个数字向量应该不是什么大问题,但我不知道怎么做。 partial_fit 增加了更多的样本,它没有增加关于现有样本的更多信息。有没有办法做我想做的事情。我试图将GaussianNB 与SGDClassifier 结合起来,但事实证明我不知道该怎么做。 (这是个坏主意吗?)

我该怎么办?

【问题讨论】:

    标签: python machine-learning scikit-learn text-classification


    【解决方案1】:

    我认为您可以将此新功能作为另一个维度添加到您的训练数据中。在调用 SGD 之前,您需要通过添加新功能来修改训练数据。

    一种简单/幼稚的方法是:

    例如,如果我的两个样本的训练数据是 X = [ [1,2,3], [8,9,0] ]

    我对每个样本的新功能是 new_feature_X = [ [11,22,33] , [77,88,00] ]

    我的新训练数据是:

    X_new = [[1,2,3,11,22,33] , [8,9,0,77,88,00]]

    那你打电话给SGD.fit(X_new, labels)

    就我对 SGD 的了解而言,我认为没有其他方法可以将两个功能结合起来。

    这个想法是分类器可以同时使用文本和 用于对数据进行分类的数字。

    我发现神经网络更适合于此。您可以使用两个输入层,一个用于文本向量,一个用于数字,然后将它们一起输入网络以获得输出。

    我尝试将 GaussianNB 与 SGDClassifier 结合,但结果是我 不知道该怎么做。 (这是个坏主意吗?)

    SGD 表示随机梯度下降。是否有可能找到 NaiveBayes 的梯度?对应的代价函数是多少?

    我该怎么办?

    1. 合奏。训练两个单独的分类器。一个使用您的文本数据,另一个用于您的新手工功能。然后取他们的预测概率的平均值。您可以训练多个分类器并接受他们的投票。这个tutorial 非常适合。

    2. 试用 MLP 分类器。我不久前使用过它,发现它对文本非常有效。

    3. 神经网络。使用Keras 非常简单。

    4. 阅读研究文献。学术界很有可能对您的数据集做了一些工作。尝试阅读其中的一些。 Google 学者、语义学者是查找已发表研究的好地方。

    from keras.layers import Input, Dense,Concatenate
    from keras.models import Model
    
    # This returns a tensor
    text_input_vec = Input(shape=(784,))
    new_numeric_feature = Input(shape=(4,))
    
    # feed your text to a dense layer
    dense1 = Dense(64, activation='relu')(text_input_vec)
    
    # feed your numeric feature to another dense layer
    dense2 = Dense(64, activation='relu')(new_numeric_feature)
    
    # concatenate/combine the output of both
    concat = Concatenate(axis=-1)([dense1,dense2])
    
    # use the above to predict the label of your text. Layer below
    # assumes you have 2 classes 
    predictions = Dense(2, activation='softmax')(concat)
    
    model = Model(inputs=[text_input_vec,new_numeric_feature], outputs=predictions)
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    
    model.summary()
    

    【讨论】:

    • 我想我可以将神经网络与 scikit-learn 结合使用。我之前尝试过 Keras,但我对文档中命名的算法了解不够,无法有效地使用它。
    猜你喜欢
    • 2016-08-11
    • 2015-12-19
    • 1970-01-01
    • 2016-11-26
    • 2014-10-23
    • 2016-04-06
    • 2015-06-15
    • 2017-03-13
    • 1970-01-01
    相关资源
    最近更新 更多