基于Transformer的视觉分割：综述

​

Transformer-Based Visual Segmentation: A Survey

解决问题：这篇论文旨在总结最近关于基于transformer的视觉分割的研究进展，并提出未来研究的方向。视觉分割是将图像、视频帧或点云分成多个部分或组的技术，具有自动驾驶、图像编辑、机器人感知和医学分析等许多实际应用。这篇论文旨在探索transformer在视觉分割中的应用，以及相比现有的卷积或循环方法，transformer的优势在哪里。

关键思路：论文的关键思路是总结transformer在视觉分割中的应用，提出了一个统一的元架构，并探讨了各种方法设计，包括对元架构的修改和相关应用。相比现有的卷积或循环方法，transformer的优势在于其自注意力机制，可以更好地捕捉图像中的全局信息。此外，transformer还可以通过预训练从大规模数据中学习到更好的特征表示，从而提高分割性能。

其他亮点：值得关注的地方包括：1）论文总结了几种不同的transformer-based视觉分割方法，并在几个流行的数据集上进行了评估。2）论文还探讨了与视觉分割相关的其他研究方向，如3D点云分割、基础模型调整、域感知分割、高效分割和医学分割。3）论文提供了开源代码，方便其他研究人员进行复现和扩展。

关于作者：主要作者包括Xiangtai Li、Henghui Ding等人，他们来自中国科学院自动化研究所、清华大学等机构。他们之前的代表作包括：1）Ding等人提出的基于深度学习的图像分割方法，可以在不同的数据集上实现准确的分割。2）Li等人提出的基于深度学习的医学图像分析方法，可以自动检测和分割医学图像中的不同组织和病变区域。

相关研究：近期其他相关的研究包括：1）”U-Net Transformers” by Chen等人，提出了一种新的transformer-based分割方法，可以在各种视觉分割任务中获得最新的性能。2）”Vision Transformers for Semantic Segmentation” by Dosovitskiy等人，提出了一种基于transformer的新型语义分割方法，可以在PASCAL VOC、ADE20K等数据集上实现最新的性能。

论文摘要：本文题目为“基于Transformer的视觉分割：综述”，旨在介绍视觉分割技术，即将图像、视频帧或点云分成多个部分或组。这项技术在自动驾驶、图像编辑、机器人感知和医学分析等领域有广泛应用。过去十年中，基于深度学习的方法在这一领域取得了显著进展。最近，Transformer成为了一种新型神经网络，基于自我注意力机制，最初用于自然语言处理，已经在各种视觉处理任务中取得了比卷积或循环方法更好的效果。具体而言，视觉Transformer为各种分割任务提供了强大、统一甚至更简单的解决方案。本文提供了基于Transformer的视觉分割的全面概述，总结了最近的进展。首先回顾了背景，包括问题定义、数据集和先前的卷积方法。接下来，我们总结了一个元架构，将所有最近的基于Transformer的方法统一起来。基于这个元架构，我们研究了各种方法设计，包括对元架构的修改和相关应用。我们还介绍了几个相关设置，包括3D点云分割、基础模型调整、域感知分割、高效分割和医学分割。此外，我们还在几个公认的数据集上编译和重新评估了这些方法。最后，我们确定了该领域的开放性挑战，并提出了未来研究的方向。该项目页面可在https://github.com/lxtGH/Awesome-Segmenation-With-Transformer找到。我们还将继续关注这个快速发展的领域的最新进展。

​Read More