颜色中的自注意力:在Transformer中编码图结构的另一种方法

684次阅读
没有评论

Self-Attention in Colors: Another Take on Encoding Graph Structure in
Transformers

解决问题:本篇论文旨在解决如何在Transformer中灵活地编码图结构的问题,同时加入高阶拓扑信息,以提高图神经网络的性能。

关键思路:论文提出了一种新的自注意力机制——色自注意力(CSA),它将注意力分数扩展到注意力滤波器,独立地调制特征通道。该机制被应用于完全注意力图Transformer CGT中,完全绕过了局部消息传递组件的需要。通过相对位置编码方案,我们的方法通过节点之间的相互作用灵活地编码图结构,并通过随机游走的新方案对结构和位置信息进行编码,同时展示了如何纳入高阶拓扑信息,如分子图中的环。相比于当前领域的研究,本文的主要新意在于提出了新的自注意力机制,并将其应用于完全注意力图Transformer中,从而更灵活地编码图结构。

其他亮点:本文的实验结果表明,我们的方法在ZINC基准数据集上取得了最先进的结果,同时提供了一个灵活的框架,用于编码图结构和纳入高阶拓扑。此外,本文还提供了开源代码。

关于作者:主要作者Romain Menegaux、Emmanuel Jehanno、Margot Selosse和Julien Mairal都来自法国国家计算机科学和应用研究所(Inria)。他们之前的代表作包括:Menegaux等人提出了一种新的基于深度学习的方法,用于分割医学图像中的肝脏和肝肿瘤;Mairal等人提出了一种新的基于分组稀疏编码的图像分类方法。

相关研究:近期的其他相关研究包括:《Deep Graph Library: A Graph-Centric, Highly-Performant Package for Graph Neural Networks》(Minjie等人,纽约大学)、《Graph Convolutional Networks: A Comprehensive Review》(Wu等人,香港科技大学)、《Graph Attention Networks》(Velickovic等人,牛津大学)。

论文摘要:我们介绍了一种新型的自注意机制,称为CSA(Chromatic Self-Attention),它将注意力得分的概念扩展到注意力过滤器,可以独立地调节特征通道。我们在完全注意力图形Transformer CGT(Chromatic Graph Transformer)中展示了CSA,该Transformer集成了图形结构信息和边缘特征,完全绕过了本地消息传递组件的需求。我们的方法通过节点之间的相互作用灵活地编码图形结构,通过使用相对位置编码方案丰富原始边缘特征。我们提出了一种基于随机游走的新方案,用于编码结构和位置信息,并展示了如何合并高阶拓扑信息,例如分子图中的环。我们的方法在ZINC基准数据集上取得了最先进的结果,同时提供了一种灵活的框架,用于编码图形结构并合并高阶拓扑。

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy