BERT 微调

【问题标题】：BERT fine tuningBERT 微调
【发布时间】：2020-06-10 13:52:01
【问题描述】：

我正在尝试创建基于 BERT 的问答模型，但无法理解微调的含义。我是否理解正确，它就像对特定领域的适应？如果我想将它与 Wikipedia 语料库一起使用，我只需要将未更改的预训练模型集成到我的网络中？

【问题讨论】：

【解决方案1】：

微调是将预训练的 BERT 模型采用（细化）到两件事上：

您最初可以按原样使用预训练模型，如果性能足够，则可能不需要针对您的用例进行微调。

【讨论】：

【解决方案2】：

微调更像是将预训练的模型用于下游任务。然而，最近的state-of-the-art 证明微调对 QA 任务没有多大帮助。另请参阅以下post。

【讨论】：