【问题标题】:Multidimensional hyperparameter search with vw-hypersearch in Vowpal Wabbit在 Vowpal Wabbit 中使用 vw-hypersearch 进行多维超参数搜索
【发布时间】:2016-01-19 11:19:52
【问题描述】:

vw-hypersearch 是 Vowpal Wabbit 包装器,旨在优化 vw 模型中的超参数:正则化率、学习率和衰减、小批量、引导大小等。在 vw-hypersearch 的 tutorial 中有以下示例:

vw-hypersearch  1e-10  5e-4  vw  --l1 %  train.dat

这里%表示要优化的参数,1e-10 5e-4是搜索区间的上下限。该库使用golden section search 方法来最小化迭代次数。

但是如果我想搜索多个超参数怎么办?从this github 问题讨论之类的来源中,我得到一个提示,在 vw 中可能没有实现多维搜索方法。因此,唯一的出路是编写自己的特定任务优化器。我说的对吗?

【问题讨论】:

标签: machine-learning vowpalwabbit hyperparameters


【解决方案1】:

现在这可以通过位于存储库中/vowpal_wabbit/utl/ 的模块vw-hyperopt.py 来完成。

在此处查看我的拉取请求:https://github.com/JohnLangford/vowpal_wabbit/pull/867

在不久的将来,这将得到更好的记录。

【讨论】:

    猜你喜欢
    • 2015-10-12
    • 2016-08-22
    • 1970-01-01
    • 2013-10-15
    • 2015-09-02
    • 2014-01-23
    • 2018-01-20
    • 2011-07-10
    • 2015-04-08
    相关资源
    最近更新 更多