GROVER: Self-supervised Message PassingTransformer on Large-scale Molecular Data
概要
作者先列出了深度学习在应用到分子图时的局限性：
- 用于分子任务的标记数据不足；
- 模型对巨大的化学空间的泛化能力差。
The GROVER Pre-training Framework
G
R
O
V
E
R
\mathbf{GROVER}
GROVER包含两个子模型：
n
o
d
e
G
N
N
T
r
a
n
s
f
o
r
m
e
r
\;node\;GNN\;Transformer
nodeGNNTransformer与
e
d
g
e
G
N
N
T
r
a
n
s
f
o
r
m
e
r
\;edge\;GNN\;Transformer
edgeGNNTransformer：
接下来详细介绍 n o d e G N N T r a n s f o r m e r \;node\;GNN\;Transformer nodeGNNTransformer的架构：