1.pytorch下面有一个pre_trained里面的东西是官方给定的，在tokenizion中可以更改各个与训练模型的下载的地址，过多的就不要改了。
2.我们在使用bert的时候，写forward当我们不知道数据的形式什么样的时候，我们就点进去源码，看看对于该模型的输入输出的要求
这里的x是什么？传进bert都需要什么？x就是什么
上图就是模型的输入输出的要求。
此处需要写bert的前向传播，直接点进去self.bert,复制前向传播的参数即可。
模型初步写完我们需要调整一下维度。在这里是context和mask的维度，需要传进模型中，所以我们进入模型来看一下维度。
我们需要计算维度。
相关文章：