Luc Van Gool团队 | 通过Swin-Conv-UNet和数据合成实现实用图像盲去噪

​

Machine Intelligence Research

近年来，利用深度神经网络解决图像去噪问题的热潮方兴未艾，但现有方法大多依赖于简单的噪声假设，如加性高斯白噪声(AWGN)、JPEG压缩噪声和相机传感器噪声等，而针对真实图像的通用盲去噪方法仍未出现。苏黎世联邦理工学院Luc Van Gool教授团队试图从网络架构设计和训练数据合成的角度来解决这一问题。具体而言，在网络架构设计方面，本文设计了一个swin-conv模块，将残差卷积层的局部建模能力和swin transformer模块的非局部建模能力结合起来，并将其作为主要构建模块插入到广泛使用的图像到图像转换模型:UNet架构中。在训练数据合成方面，本文设计了一个实用的噪声退化模型，该模型考虑了不同类型的噪声(包括高斯噪声、泊松噪声、斑点噪声、JPEG压缩噪声和处理后的相机传感器噪声)和大小调整，还涉及随机洗牌策略和双重退化策略。在去除AGWN和真实图像去噪方面的大量实验表明，新的网络架构设计实现了最先进的性能，新的退化模型则有助于显著提高实用性。该研究希望能够为当前的去噪研究提供有用的见解。源代码见：https://github.com/cszn/SCUNet，在线去噪网址见：https://replicate.com/cszn/scunet。

图片来自Springer

全文下载：

Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis

https://link.springer.com/article/10.1007/s11633-023-1466-0

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1466-0

全文导读

图像去噪，即从噪声观测中恢复潜在的干净图像的过程，或许是最基础的图像复原问题。原因至少有三个方面。首先，图像去噪有助于评估不同图像先验和优化算法的有效性。其次，图像去噪可以插入变量分裂算法(如半二次分裂法和交替方向乘子法)以解决其他问题(如去模糊和超分辨率)。第三，图像去噪可能包含在其他视觉任务的预处理过程中。

近年来，深度神经网络已成为图像去噪的主流方法。为了提高深度图像去噪性能，研究人员主要关注两个研究方向。第一个方向是提高加性高斯白噪声(AWGN)假设下的性能。第二个方向主要侧重于训练数据或噪声建模。这两个方向都有助于实现真实图像去噪的终极目标。

图像去噪的退化模型可以用数学公式表示为

y = x + n

其中，n是要去除的噪声。n的常见假设有AWGN、JPEG压缩噪声、泊松噪声和相机传感器噪声，其中AWGN因其数学上的便利性而被广泛使用。然而，众所周知，由于噪声假设不匹配，由 AWGN 训练的深度图像去噪模型在大多数真实图像中都表现不佳。不过，AWGN去噪在测试不同网络架构设计的有效性方面表现良好。近年来，人们提出了各种网络架构设计。其中具有代表性的有 DnCNN、N3Net、NLRN、DRUNet和SwinIR。实际上，网络架构设计有助于捕捉图像先验信息，从而提高图像去噪性能。例如，N3Net和NLRN专用来捕捉非本地图像先验。虽然在基准数据集上的PSNR性能已经有了很大提高，例如，在噪声水平为25的Set12数据集上，SwinIR 的PSNR平均值比DnCNN高出了0.57dB，那么一个有趣的问题是：是否可以通过先进的网络架构设计来进一步提高PSNR性能？

为了提高深度去噪模型的实用性，研究者把大量精力投入到了噪声建模。其动机是让噪声假设与真实图像的退化情况相一致。Plötz和Roth利用消费级相机建立了一个真实的噪声数据集(DND)，该数据集由RAW域和sRGB域中不同的真实噪声和几乎无噪声参考图像对组成。他们进一步表明，在sRGB DND数据集上，经过精确去噪重新训练的模型明显优于经过AWGN训练的模型。Brooks等人利用数字传感器的物理特性和数字信号成像流程的步骤，设计了一种相机传感器噪声合成方法，并提供了一种有效的深度RAW域图像去噪模型。虽然上述尝试都强调了退化模型的重要性，但它们主要关注的是相机传感器噪声相关的去噪。然而，关于如何训练图像盲去噪的深度模型的研究还很少。那么,如何改善盲去噪的训练数据是第二个有趣的问题。

本文尝试通过新的网络架构设计和新的训练数据合成来回答上述两个问题。在网络架构设计方面，本文考虑到：1)不同的图像去噪方法具有互补的图像先验建模能力，可以结合使用以提高性能；2)DRUNet和SwinIR采用了截然不同的网络架构设计，但却取得了非常好的去噪性能，因此本文推出了一个Swin-conv 模块，将残差卷积层的局部建模能力和Swin转换器模块的非局部建模能力结合起来，并将其作为主要构建模块插入UNet 架构。为了测试其有效性，本文在AWGN去噪的基准数据集上评估了其PNSR性能。由于真实图像噪声可能由其他类型的噪声引入，如JPEG压缩噪声、处理后的相机传感器噪声，并且会受到大小调整的进一步影响，因此用参数概率分布建模过于复杂。为解决这个问题，本文提出了一种不同类型噪声(包括高斯噪声、泊松噪声、斑点噪声、JPEG压缩噪声和经过处理的相机传感器噪声)和大小调整操作(包括常用的双线性插值和双三次插值)的随机洗牌方法，以粗略逼近真实图像噪声。

 本文所提Swin-Conv-UNet (SCUNet)去噪模型的框架图

本文的贡献如下 ：

1) 提出了一种新的去噪网络，将新的swin-conv块插入多尺度UNet，以提高局部和非局部建模能力。

2) 提出了一种手工设计的噪声合成模型，可用于训练通用的图像盲去噪模型。

3) 用提出的噪声合成模型训练的盲去噪模型可以显著提高真实图像的实用性。

4) 为合成高斯去噪和实际图像盲去噪提供了强有力的基准。

效果示例

真实噪声图像

去噪结果

全文下载：

Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis

https://link.springer.com/article/10.1007/s11633-023-1466-0

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1466-0

BibTex:

@Article{MIR-2022-11-351,
author = {Kai Zhang and Yawei Li and Jingyun Liang and Jiezhang Cao and Yulun Zhang and Hao Tang and Deng-Ping Fan and Radu Timofte and Luc Van Gool},
journal = {Machine Intelligence Research},
title = {Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis},
year = {2023},
volume = {20},
number = {6},
pages = {822-836},
doi = {10.1007/s11633-023-1466-0}
}

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIAAI.aspx#  

∨

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选”中国科技期刊卓越行动计划”，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

▼
往期目录
▼

2023年第5期 | 生成式人工智能系统、智能网联汽车、毫秒级人脸检测器、个性化联邦学习框架… (机器智能研究MIR)
2023年第4期 | 大规模多模态预训练模型、机器翻译、联邦学习……
2023年第3期 | 人机对抗智能、边缘智能、掩码图像重建、强化学习… 
2023年第2期 · 特约专题 | 大规模预训练: 数据、模型和微调
2023年第1期 | 类脑智能机器人、联邦学习、视觉-语言预训练、伪装目标检测… 
2022年第6期 | 因果推理、视觉表征学习、视频息肉分割…
2022年第5期 | 重磅专题：类脑机器学习
2022年第4期 | 来自苏黎世联邦理工学院Luc Van Gool教授团队、清华大学戴琼海院士团队等
2022年第3期 | 聚焦自然语言处理、机器学习等领域；来自复旦大学、中国科学院自动化所等团队
2022年第2期 | 聚焦知识挖掘、5G、强化学习等领域；来自联想研究院、中国科学院自动化所等团队
主编谭铁牛院士寄语, MIR第一期正式出版！

▼
好文推荐
▼

贺威团队&王耀南院士团队 | 基于动态运动基元的机器人技能学习
乔红院士团队 | 类脑智能机器人：理论分析与系统应用 （机器智能研究MIR）
南科大于仕琪团队 | YuNet:一个速度为毫秒级的人脸检测器
上海交大严骏驰团队 | 综述: 求解布尔可满足性问题(SAT)的机器学习方法
西电公茂果团队 | 综述: 多模态数据的联邦学习
高文院士团队 | 综述: 大规模多模态预训练模型
前沿观点 | 谷歌BARD的视觉理解能力如何？对开放挑战的实证研究
港中文黄锦辉团队 | 综述: 任务型对话对话策略学习的强化学习方法
南航张道强教授团队 | 综述：用于脑影像基因组学的机器学习方法
ETHZ团队 | 一种基于深度梯度学习的高效伪装目标检测方法 （机器智能研究MIR）
Luc Van Gool团队 | 深度学习视角下的视频息肉分割
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述
北大黄铁军团队 | 专题综述：视觉信息的神经解码
专题综述 | 迈向脑启发计算机视觉的新范式
专题好文 | 新型类脑去噪内源生成模型: 解决复杂噪音下的手写数字识别问题
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络
ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战
华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法
联想CTO芮勇团队 | 知识挖掘：跨领域的综述
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换

▼
MIR资讯
▼

前进20名！MIR再度跻身国际影响力TOP期刊榜单
2022影响因子发布！人工智能领域最新SCI & ESCI期刊一览
主编谭铁牛院士主持，MIR第二次国内编委会议圆满召开
喜报 | MIR入选图像图形领域 T2级 “知名期刊”！
2023年人工智能领域国际学术会议参考列表 | 机器智能研究MIR
恭喜！MIR 2022年度优秀编委
双喜！MIR入选”2022中国科技核心期刊”，并被DBLP收录 | 机器智能研究MIR
报喜！MIR入选2022年国际影响力TOP期刊榜单
喜报 | MIR被 ESCI 收录！
喜报 | MIR 被 EI 与 Scopus 数据库收录

​Read More