【发布时间】:2016-01-19 11:19:52
【问题描述】:
vw-hypersearch 是 Vowpal Wabbit 包装器,旨在优化 vw 模型中的超参数:正则化率、学习率和衰减、小批量、引导大小等。在 vw-hypersearch 的 tutorial 中有以下示例:
vw-hypersearch 1e-10 5e-4 vw --l1 % train.dat
这里%表示要优化的参数,1e-10 5e-4是搜索区间的上下限。该库使用golden section search 方法来最小化迭代次数。
但是如果我想搜索多个超参数怎么办?从this github 问题讨论之类的来源中,我得到一个提示,在 vw 中可能没有实现多维搜索方法。因此,唯一的出路是编写自己的特定任务优化器。我说的对吗?
【问题讨论】:
-
1) 是的,你是对的。 2) 您可以自己编写,或者理想情况下,按照您所链接的讨论内容为这个开源项目做出贡献,这样每个人都可以受益。
标签: machine-learning vowpalwabbit hyperparameters