图注意力网络中可学习参数的梯度推导

​

Gradient Derivation for Learnable Parameters in Graph Attention Networks

解决问题：本篇论文旨在提供GATv2（图注意力网络）可学习参数的参数梯度推导，以探究该网络在不同数据集上表现不一致的原因。

关键思路：本文针对GATv2提供了参数梯度推导，以便深入探究该网络的训练动态。相比之前的研究，本文提供了更为全面的参数梯度推导。

其他亮点：本文提供的参数梯度推导可为GATv2的训练提供更多的洞察力。此外，本文还探究了GATv2的潜在问题。本文使用了公开数据集，但未提及是否开源代码。此外，本文还需要进一步研究GATv2在不同数据集上的表现差异和原因。

关于作者：Marion Neumeier，Andreas Tollkühn，Sebastian Dorn，Michael Botsch和Wolfgang Utschick分别来自哪些机构不详。他们之前的代表作未在数据库中列出。

相关研究：近期其他相关研究包括：1）”Graph Attention Networks with Adaptive Receptive Fields”（Jie Yang，Jie Zhang，Changshui Zhang，等，香港科技大学）；2）”Semi-supervised Classification with Graph Convolutional Networks”（Thomas N. Kipf和Max Welling，阿姆斯特丹大学）。

论文摘要：这项工作提供了对Graph Attention Networks（GATs）中可学习参数的参数梯度的全面推导，其中包括了广泛使用的GATv2 [4]的梯度。GATs已被证明是处理图结构数据的强大框架，因此已被用于各种应用。然而，这些尝试所取得的性能在不同的数据集中发现存在不一致性，其中的原因仍然是一个开放的研究问题。由于梯度流提供了有关统计学习模型训练动态的有价值的见解，因此这项工作获得了GATv2可训练模型参数的梯度。梯度推导补充了[2]的工作，其中调查了GATv2的潜在缺陷。

​Read More