颜色中的自注意力：在Transformer中编码图结构的另一种方法

​

Self-Attention in Colors: Another Take on Encoding Graph Structure in
Transformers

解决问题：本篇论文旨在解决如何在Transformer中灵活地编码图结构的问题，同时加入高阶拓扑信息，以提高图神经网络的性能。

关键思路：论文提出了一种新的自注意力机制——色自注意力（CSA），它将注意力分数扩展到注意力滤波器，独立地调制特征通道。该机制被应用于完全注意力图Transformer CGT中，完全绕过了局部消息传递组件的需要。通过相对位置编码方案，我们的方法通过节点之间的相互作用灵活地编码图结构，并通过随机游走的新方案对结构和位置信息进行编码，同时展示了如何纳入高阶拓扑信息，如分子图中的环。相比于当前领域的研究，本文的主要新意在于提出了新的自注意力机制，并将其应用于完全注意力图Transformer中，从而更灵活地编码图结构。

其他亮点：本文的实验结果表明，我们的方法在ZINC基准数据集上取得了最先进的结果，同时提供了一个灵活的框架，用于编码图结构和纳入高阶拓扑。此外，本文还提供了开源代码。

关于作者：主要作者Romain Menegaux、Emmanuel Jehanno、Margot Selosse和Julien Mairal都来自法国国家计算机科学和应用研究所（Inria）。他们之前的代表作包括：Menegaux等人提出了一种新的基于深度学习的方法，用于分割医学图像中的肝脏和肝肿瘤；Mairal等人提出了一种新的基于分组稀疏编码的图像分类方法。

相关研究：近期的其他相关研究包括：《Deep Graph Library: A Graph-Centric, Highly-Performant Package for Graph Neural Networks》（Minjie等人，纽约大学）、《Graph Convolutional Networks: A Comprehensive Review》（Wu等人，香港科技大学）、《Graph Attention Networks》（Velickovic等人，牛津大学）。

论文摘要：我们介绍了一种新型的自注意机制，称为CSA（Chromatic Self-Attention），它将注意力得分的概念扩展到注意力过滤器，可以独立地调节特征通道。我们在完全注意力图形Transformer CGT（Chromatic Graph Transformer）中展示了CSA，该Transformer集成了图形结构信息和边缘特征，完全绕过了本地消息传递组件的需求。我们的方法通过节点之间的相互作用灵活地编码图形结构，通过使用相对位置编码方案丰富原始边缘特征。我们提出了一种基于随机游走的新方案，用于编码结构和位置信息，并展示了如何合并高阶拓扑信息，例如分子图中的环。我们的方法在ZINC基准数据集上取得了最先进的结果，同时提供了一种灵活的框架，用于编码图形结构并合并高阶拓扑。

​Read More