我的目标是在 Google Colab 中测试 Google 的 BERT 算法。
我想使用预训练的芬兰语自定义模型 (https://github.com/TurkuNLP/FinBERT)。在 TFHub 库中找不到该模型。我还没有找到使用 Tensorflow Hub 加载模型的方法。
有没有一种巧妙的方法来加载和使用带有 Tensorflow Hub 的自定义模型？
【问题讨论】：
标签： tensorflow google-colaboratory bert-language-model tensorflow-hub
基本上：是的。每个人都可以创建 TF Hub 托管的那种模型，我希望有趣模型的作者能够考虑到这一点。
也就是说，像 BERT 这样的复杂模型需要花点心思才能将其导出并包含所有的花里胡哨，因此有一些工具可以在此基础上进行构建。 TF2 的 BERT 参考实现https://github.com/tensorflow/models/tree/master/official/nlp/bert 带有一个开源的 export_tfhub.py 脚本，任何人都可以使用它来导出从该代码库创建的自定义 BERT 实例。
但是，我从https://github.com/TurkuNLP/FinBERT/blob/master/nlpl_tutorial/training_bert.md#general-info 了解到，您正在使用 Nvidia 的 BERT 原始 TF1 实现的分支。有一些 Hub 模块是从原始研究代码创建的，但用于此目的的工具尚未开源，Nvidia 似乎也没有添加自己的工具。
如果这种情况没有改变，您可能不得不采取普通的方式做事，熟悉他们的代码库并将他们的检查点加载到其中。
【讨论】：