如何为 vowpal wabbit 中的文件序列重新训练模型答案

【问题标题】：how to retrain the model for sequence of files in vowpal wabbit如何为 vowpal wabbit 中的文件序列重新训练模型
【发布时间】：2014-12-01 22:19:31
【问题描述】：

我正在尝试在一组文件（目前大约 10 个）上运行 vowpal wabbit。我的实验如下：

将第一个火车文件转换为大众格式
使用第一个训练文件训练 VW 模型并存储模型。
使用存储的模型验证测试文件的准确性
现在将第二个文件转换为 VW 格式，并使用第二个文件重新训练步骤 2 中存储的模型并存储更新后的模型
在重新训练的模型上验证测试文件并报告准确性。
使用 for 循环对剩余的文件集重复步骤 4-5（每次迭代中的测试文件都相同）

当我做这个实验时，我遇到了一些错误。我在这里粘贴训练、重新训练和验证命令以及错误。

请任何人帮助我重现此场景而不会出现任何错误。

命令：

这里的“i”是从 1 到 10

$idec = i -1(以前模型的索引)

vw -d ${i}_processed_binary_compressed.vw --loss_function 逻辑 -i ${idec}_processed_binary_compressed.model.vw --quiet --save_resume -f ${i}_processed_binary_compressed.model.vw

回声 echo "day_$i 完成模型训练"

echo "${i}_day 模型验证正在进行中..." 回声

vw 10_processed_binary_compressed_test.vw -t -i ${i}_processed_binary_compressed.model.vw --quiet --hash strings -p 10_processed_binary_compressed_test_${i}_day_result.csv -r 10_processed_binary_compressed_test_${i}_day_raw.txt

错误：

vw: 选项 '--data' 不能多次指定

【问题讨论】：

为什么只在测试时使用--hash 字符串？这很奇怪。
你描述的场景对我有用，最新的 git 版本的 VW。您使用哪个版本？尝试更新。
"option '--data' cannot be specified more than once" 我认为这可能会发生，例如如果任何文件名包含（未转义的）空格。第一个文件名 10_processed_binary_compressed_test.vw 实际上被隐式理解为 --data 参数。（不幸的是，最新的大众版本有更糟糕的错误信息：“大众：多次出现”。）
你们中的任何人都可以在我原来的问题中为上述场景粘贴带有适当标记的命令

标签： vowpalwabbit

【解决方案1】：

我无法复制问题（但 TOC_cmi 要求粘贴我使用的常见广告）：

git clone https://github.com/JohnLangford/vowpal_wabbit.git
cd vowpal_wabbit
make
cd test/train-sets

vw -d rcv1_smaller.dat --loss_function=logistic --save_resume -f day1.model
vw -d rcv1_small.dat --loss_function=logistic --save_resume -i day1.model -f day2.model
vw -t -d rcv1_smaller.dat --loss_function=logistic -i day2.model -p day2.predictions -r day2.raw

【讨论】：