使用多项式内核提高 SVM 的速度

Question

我是机器学习的新手。
我正在使用带有“多项式”内核的支持向量机 (SVM) 进行多类分类。我的数据集大小是(56010395, 4)，形式为（样本数，特征数）。但是，我的机器自过去 1 周以来一直在无休止地训练，但训练仍未完成。我的代码真的很基础，所以我不明白我的代码有什么问题。我无法对我的数据集进行子采样。我的 RAM 是 15 GB，我使用的是 i7 Intel CPU。

我已经尝试过使用线性分类器的 SVM，训练在 3 小时内完成，准确率达到 75%。此外，数据使用 MinMaxscaler 进行缩放。

from sklearn.svm import SVC
X_train, X_test, y_train, y_test = train_test_split(X_data, y_labels, test_size=0.3, random_state=0)

print('start training')
start = time. time()
svm_model_linear = SVC(kernel='poly', degree=3, C=1.0, gamma = 'auto').fit(X_train, y_train)
print('training_finished')
end = time. time()
print('time: ', end - start)
svm_predictions = svm_model_linear.predict(X_test)

Answer 1

SVM 的训练时间与样本数量成二次方关系，或者更糟。对于 O(n^2)，时间与 c * n^2) 成正比。 您的模型配置大约需要 20 秒，在我的机器上具有 100k 个功能，在c=2e9 附近给出一个常数。因此，56 010 395 样本的预期训练时间是 72 天，可能要长得多。

因此，要么对您的数据集进行二次抽样，要么使用其他分类器。您可以使用小型多层感知器来获得类似于具有多项式核的 SVM 的表现力。它可以使用 SGD 进行小批量训练。使用 Hinge 损失与 SVM 使用的损失相同。

顺便说一句，您基本上总是需要为 SVM 优化超参数 C。最佳实践方法是在网格搜索中进行 5 折交叉验证。所以你应该计划训练至少 50 个模型...

import time

from sklearn.svm import SVC
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split
import numpy
import pandas

def time_training(estimator, n_samples):
    X, y = make_moons(n_samples=n_samples, noise=0.1, random_state=1)
    X = numpy.concatenate([X, X], axis=1)
    assert (X.shape[1] == 4), X.shape

    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

    start = time. time()
    estimator.fit(X_train, y_train)
    end = time.time()
    t = end-start
    print('took', n_samples, t)
    return t

def main():
    model = SVC(kernel='poly', degree=3, C=1.0, gamma = 'auto')
    sizes = numpy.array((100, 1e3, 1e4, 2e4, 4e4, 6e4, 1e5, 1.1e5, 1.2e5)).astype(int)
    times = [ time_training(model, s) for s in sizes ]

    df = pandas.DataFrame({
        'samples': sizes,
        'time': times,
    })
    df.to_csv('temp/svmtrain.csv')

if __name__ == '__main__':
    main()

[jon@jon-thinkpad ~]$ python3 temp/svm-training-time.py
took 100 0.0006172657012939453
took 1000 0.00444340705871582
took 10000 0.26808977127075195
took 20000 1.1068146228790283
took 40000 3.8822362422943115
took 60000 8.051671743392944
took 100000 20.05191993713379
took 110000 36.83517003059387
took 120000 61.012284994125366

>>> 0.26/(10000**2)
2.6e-09
>>> 20/(100000**2)
2e-09
>>> 2e-9*(56e6**2)/(3600*24)
72.5925925925926