FastText 量化文档不正确？答案

【问题标题】：FastText quantize documentation incorrect?FastText 量化文档不正确？
【发布时间】：2018-09-20 15:30:16
【问题描述】：

我无法运行文档中显示的 FastText 量化。具体如备忘单页面底部所示：

https://fasttext.cc/docs/en/cheatsheet.html

当我尝试在我的训练模型“model.bin”上运行量化时：

./fasttext quantize -output model

以下错误被打印到shell：

Empty input or output path.

我已经使用最新代码（2018 年 9 月 14 日）和旧代码（2018 年 6 月 21 日）的版本重现了这个问题。由于记录的命令语法不起作用，我尝试添加一个输入参数：

./fasttext quantize -input [file] -output model

其中 [file] 是我的训练数据或训练模型。不幸的是，这两次尝试都导致了分段错误，而 FastText 没有错误消息。

量化 FastText 模型的正确命令语法是什么？另外，是否可以在一次 FastText 运行中同时训练和量化模型？

【问题讨论】：

如果你训练的模型是“model.bin”，那么就通过吧：./fasttext quantize -output model.bin
您好，您有解决这个问题的方法吗？我试图在命令之后量化一个预先训练好的词嵌入，但我得到了同样的错误......
是的，我敲了好久才明白。文档不正确。这是一个带有一些可选参数的示例：./fasttext quantize -input training_examples -output model_without_extension -cutoff 2000000 -dsub 8 -retrain 关键问题是模型文件名（model_without_extension）。这必须是不带扩展名的模型文件名。否则会加载错误的文件和段错误。

标签： fasttext

【解决方案1】：

Python 中的解决方案：

# Quantize the model with retraining
model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

# Save quantized model
model.save_model("model_quantized.bin")

【讨论】：

【解决方案2】：

我试过这个有效：

 ./fasttext quantize -input <training set> -output <model name (no suffix) -[options]

【讨论】：

【解决方案3】：

这是quantization-example.sh 中包含的示例

./fasttext quantize -output "${RESULTDIR}/dbpedia" -input "${DATADIR}/dbpedia.train" -qnorm -retrain -epoch 1 -cuto$

【讨论】：