论文地址:Robust Multi-modal MR Image Synthesis
这是MICCAI2017上一篇使用多模态MRI进行合成的论文
论文有两个创新点,一个是使用多个模态MRI进行另一个模态的合成,还有就是对于缺失和未对齐的数据也可以用于合成
整个思路如上,
Encoders:对于多模态的输入,先使用f转换为多模态的隐变量z,
Alignment:随后使用这多模态的隐变量使用spatial transformer进行对齐,也就是使用分别与
作为spatial transformer的输入,将
和
分别对齐,得到
,其中
Fusion:随后对使用voxel-wise max进行融合成为
Decoder:使用decoder网络将恢复为最终结果
loss:
其中MAE=mean absolute error,MVV=mean voxel-wise variance