简介：在NeurIPS2020上，清华大学与WeBank，微软研究院和博世人工智能中心共同提出了GraphRandomNeuralNetwork（GRAND），这是一种用于半监督图学习的新图神经网络框架。在模型架构方面，GRAND提出了一种简单有效的图形数据增强方法，RandomPropagation，以增强模型的鲁棒性并减少过度平滑。 GRAND基于RandomPropagation，在优化过程中使用ConsistencyRegularization来增强模型的泛化性，即，除了优化标签节点的交叉熵损失外，还将优化模型的多数据增强预测未标记的节点。一致性。 GRAND不仅在理论上有很好的解释，而且在三个公共数据集上超过了14种不同的GNN模型，并取得了SOTA的效果。这项研究包含在NeurIPS2020的Oralpaper（105/9454）中。论文名称：GraphRandomNeuralNetworkforSemi-SupervisedLearningonGraphs研究背景图是一种通用的数据结构，用于对结构化和关系数据进行建模。在这项工作中，我们专注于基于图的半监督学习问题。该问题的输入是具有节点属性的无向图，其中只有一小部分节点具有标签。预测未标记节点的标签的结构。近年来，以图卷积神经网络（GCN）表示的图神经网络模型（GNN）[1]是解决此问题的有效方法。其主要思想是通过确定性的特征传播来聚合邻居节点的信息，从而达到降低特征噪声的目的。但是，最近的研究表明，这种传播过程会带来一些固有的问题，例如：1）过度平滑，图卷积可以被视为拉普拉斯平滑的一种特殊形式。两者之间的功能将变得难以区分。 2）鲁棒性不足，GNN中的特征传播将使节点的预测严重依赖于特定的相邻节点，并且这种模型对噪声的耐受性较差。例如，KDD＆＃39; 2的最佳论文表明，即使通过间接攻击，我们也可以通过更改目标节点邻居的属性来实现攻击目标节点的目标。 3）过度拟合。在半监督节点分类任务中，标记节点很少。通常，GNN仅依靠这些少量的监督信息进行训练，因此训练模型的泛化能力将相对较差。模型介绍为了解决这些问题，在这项工作中，我们提出了一种图随机神经网络（GRAND），这是一种简单有效的图半监督学习方法。与传统的GNN不同，GRAND使用随机传播（RandomPropagation）策略。具体来说，我们首先随机丢弃某些节点的属性以对节点特征进行随机扰动，然后对受扰动的节点特征进行高阶传播。这样，每个节点的特征将与其高阶邻居的特征随机交互。这种策略将减少节点对某些特定节点的依赖性，并提高模型的鲁棒性。另外，在同构图中，相邻节点通常具有相似的特征和标签，从而可以用其邻居的信息来补偿该节点丢弃的信息。因此，以这种方式形成的节点特征可以被视为用于图形数据的数据增强方法。基于这种传播方法，我们然后设计了一种基于一致性正则化的训练方法，即在每次训练过程中执行多次RandomPropagation以生成多个不同的节点增强表示，然后将这些增强表示输入到MLP中，交叉熵损失，我们还将优化MLP模型，以增强来自多个数据的预测结果的一致性。这种一致性常规损失不需要标签，因此模型可以使用足够的未标签数据来弥补半监督任务中缺少监督信息，提高模型的泛化能力，并降低过度拟合的风险。图1和图2我们对GRAND进行了理论分析。分析结果表明，该Randompropagation + ConsistencyRegularization训练方法实际上通过模型优化了节点及其邻居的预测置信度之间的一致性。实验结果我们在GNN基准数据集的实验结果中评估了GRAND。实验结果表明，GRAND在3个公共数据集中大大超过了14种不同类型的GNN模型，并取得了SOTA的效果。实验结果（图3）：图3另外，我们还分析了概括，r