pytorch 初始化两个具有相同权重的子模块？

Question

我想知道是否有一种典型的方法可以将一个网络的两个部分初始化为相同的一些初始值？假设我有两个单独的自动编码器用于查询和文档，我想将这两个自动编码器的权重初始化为相同的权重（不共享权重）。

谢谢！

Answer 1

我认为最简单的方法是随机初始化其中一个子模块，然后从另一个模块中保存state_dict 和load_state_dict。