【问题标题】:What can I do about svmpath needing so much memory in one gulp?对于 svmpath 一口气需要这么多内存,我该怎么办?
【发布时间】:2014-08-12 10:32:19
【问题描述】:

我正在试用 svmpath 包,它应该为经过训练的 SVM 找到最佳超参数,而不需要对不同的数据子集进行多次运行。更重要的是,它的计算复杂度应该更低(根据其docs)。

但是,它似乎一次需要大量内存。

最小的工作示例:

library(data.table)
library(svmpath)
# Loaded svmpath 0.953

features <- data.table(matrix(runif(100000*16),ncol=16))
labels <- (runif(100000) > 0.7)
svmpath(x=features,y=labels)
# Error in x %*% t(y) : requires numeric/complex matrix/vector arguments
svmpath(x=as.matrix(features),y=labels)
# Error: cannot allocate vector of size 74.5 Gb

library(kernlab)
ksvm(as.matrix(features),y=labels,kernel=vanilla)
# runs

检查训练函数只显示了一条可能很大的行,Kscript &lt;- K * outer(y, y)。事实上,这似乎是罪魁祸首:runif(100000) %o% runif(100000) 产生了同样的错误。

有没有在 R 中容易实现的快速修复?

【问题讨论】:

    标签: r svm


    【解决方案1】:

    显然,它没有找到最佳的 C(成本)值。 但是,它列出了您应该按顺序尝试的所有 C 值 使用 N 折交叉验证或测试数据集找到最佳的。

    【讨论】:

      猜你喜欢
      • 2013-11-14
      • 1970-01-01
      • 2014-03-07
      • 2020-12-12
      • 1970-01-01
      • 2018-11-22
      • 2013-05-17
      • 1970-01-01
      相关资源
      最近更新 更多