使用 fast_align 等单词对齐工具时，句子越多是否意味着准确率越高？

Question

我正在使用 fast_align https://github.com/clab/fast_align 来获得 1000 个德语句子和这些句子的 1000 个英语翻译之间的单词对齐。到目前为止，质量不是那么好。

在流程中加入更多句子是否有助于 fast_align 更准确？假设我使用 100k 对齐的句子对获取一些 OPUS 数据，然后将我的 1000 个句子添加到它的末尾，并将其提供给 fast_align。那会有帮助吗？我似乎找不到任何关于这是否有意义的信息。

Answer 1

[免责声明：我对对齐几乎一无所知，也没有使用过 fast_align。]

是的。

您可以向自己证明这一点，还可以通过从数据集中删除数据来绘制精度/比例曲线，以在更低的比例下进行尝试。

也就是说，1000 已经低得离谱，出于这些目的，1000 ≈≈ 0，我不希望它起作用。

更理想的是尝试 10K、100K 和 1M。与其他人的结果更具可比性的是一些标准语料库，例如维基百科或研究研讨会的数据。

添加与对您很重要的数据非常不同的数据可能会产生不同的结果，但在这种情况下，更多的数据几乎不会造成伤害。如果您提及特定领域、数据集或目标，我们可能会在建议方面更有帮助。