网格搜索torch / lua中的超参数

Question

我是 torch/lua 的新手，我正在尝试评估一些不同的优化算法和每种算法的不同参数。

算法：optim.sgd optim.lbfgs

参数：

• 学习率：{1e-1、1e-2、1e-3}
• weight_decay：{1e-1, 1e-2}

所以我想要实现的是尝试超参数的每种组合，并为每个算法获得最佳参数集。

有没有类似的东西：

param_grid = [
 {'C': [1, 10, 100, 1000], 'kernel': ['linear']},
 {'C': [1, 10, 100, 1000], 'gamma': [0.001, 0.0001], 'kernel': ['rbf']},
]

如http://scikit-learn.org/stable/modules/grid_search.html 中可用torch 处理吗？

任何建议都会很好！

Answer 1

试试这个正在开发的超优化库： https://github.com/nicholas-leonard/hypero