1. Language-Conditioned Graph Networks for Relational Reasoning
在本文中我们采用了一种方法，为视觉场景中的对象构建上下文化表示，以支持关系推理。我们提出了一个语言条件图网络的一般框架，其中每个节点代表一个对象，并通过基于文本输入的迭代消息传递由相关对象的文本感知表示来描述。
给定一个视觉场景和一个推理任务的文本输入，如VQA或参考文献，我们建议为场景中的每个实体构造一个上下文化的表示，它包含语言输入中指定的推理过程所需的关系信息。
这种语境化的表示是在我们新颖的语言条件图网络模型中，通过以语言输入为条件的迭代信息传递获得的。然后它可以用作特定于任务的输出模块的输入。
我们的模型通过以输入文本为条件的迭代消息传递，为每个对象构建了一个上下文感知表示。在消息传递过程中，每个对象I由一个局部特征和一个上下文特征表示。在每次迭代中，每个对象j向每个对象I发送一个消息向量，该向量由
I
I
I收集，以更新其上下文特征。局部特征和最终上下文特征组合成一个联合的上下文感知特征，用于VQA或REF的简单任务特定输出模块。
2. Neural Message Passing for Multi-Relational Ordered and Recursive Hypergraphs
消息传递神经网络(MPNN)最近成为一个成功的框架，在许多基于图形的学习任务中取得了最先进的性能。MPNN最近还扩展到多关系图(每条边都有标签)和超图(每条边可以连接任意数量的顶点)。然而，在涉及文本和知识的真实数据集中，关系要复杂得多，其中超格可以是多关系的、递归的和有序的。这种结构提出了几个独特的挑战，因为不清楚如何使MPNN适应其中的可变尺寸超格。在这项工作中，我们首先将不同结构上的现有多点神经网络统一到广义MPNN-MPNN框架中。受真实数据集的启发，我们提出了一个新的框架扩展，MPNN-R(MPNN-递归)来处理递归结构的数据。实验结果证明了所提出的MPNN和MPNN实例的有效性。