FVP: 傅里叶可视提示用于无源无监督医学图像分割领域自适应

​

FVP: Fourier Visual Prompting for Source-Free Unsupervised Domain
Adaptation of Medical Image Segmentation

解决问题：论文旨在解决医学图像分割中训练数据与测试数据之间存在领域偏移的问题，提出了一种新的无源领域自适应方法（SFUDA）——Fourier Visual Prompting（FVP），通过在输入目标数据中添加视觉提示来引导预训练模型在目标领域中表现良好。

关键思路：FVP方法通过在输入频率空间中仅使用少量低频可学习参数来参数化视觉提示，并通过最小化预测分割图像与可靠伪分割标签之间的分割损失来学习视觉提示。相比于当前领域的研究，FVP方法的新意在于将自然语言处理中的提示学习方法引入到医学图像分割领域中。

其他亮点：本文使用了三个公共数据集进行验证，实验结果表明，FVP方法相比于现有方法具有更好的分割效果。此外，本文还值得关注的地方是，FVP是首个将视觉提示应用于SFUDA医学图像分割的方法。

关于作者：本文的主要作者是Yan Wang、Jian Cheng、Yixin Chen等人，他们分别来自中国科学院自动化研究所、南京大学和南京医科大学。他们之前的代表作包括：“Deeply Supervised Salient Object Detection with Short Connections”（Yan Wang等，CVPR2017）和“Adaptive Context Selection for Generating High Resolution Images”（Jian Cheng等，CVPR2018）等。

相关研究：近期其他相关的研究包括：“Unsupervised Domain Adaptation for Medical Image Segmentation via Recurrent Neural Network”（Yuan Xue等，MICCAI2019）和“Domain-Adversarial Training of Neural Networks for MRI Segmentation”（Chengjia Wang等，IEEE Transactions on Medical Imaging，2019）等。

论文摘要：本文介绍了一种用于医学图像分割的傅里叶视觉提示（FVP）方法，解决了训练和测试数据之间存在域偏移时医学图像分割方法表现不佳的问题。无监督域自适应（UDA）通过使用来自源域的标记数据和来自目标域的未标记数据训练模型来解决域偏移问题。最近提出了无源UDA（SFUDA）来实现在适应过程中不需要源数据，因为存在数据隐私或数据传输问题。然而，在医学图像分割的真实临床场景中，训练好的模型通常在测试阶段被冻结。因此，本文提出了FVP方法，通过向目标数据添加视觉提示，启动训练好的模型在目标域中表现良好。在FVP中，视觉提示仅由输入频率空间中的少量低频可学习参数参数化，并通过最小化预测分割图像与在冻结模型下的可靠伪分割标签之间的分割损失来学习。据我们所知，FVP是首个将视觉提示应用于医学图像分割的SFUDA方法。通过在三个公共数据集上进行实验验证，结果表明与各种现有方法相比，FVP能够产生更好的分割结果。

​Read More