利用小波分析增强深度学习模型的鲁棒性｜周五直播·人工智能与数学读书会

导语

为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。本读书会是“AI+Science”主题读书会的第三季。读书会自9月15日开始，每周五晚20:00-22:00，预计持续时间8～10周。欢迎感兴趣的朋友报名参与！

分享内容简介

本次分享将会讨论深度学习对抗训练以及小波分析之间的一些应用启示。我们将会回顾小波分析与深度学习对抗样本研究发展的科学史。对抗样本是对深度学习安全的一个重大的挑战。研究者们提出通过基于min-max优化的对抗训练去防御对抗攻击。同时，由于对抗脆弱性可被视为一种高频现象，因此，我们可以在频域中约束对抗性训练的神经网络模型以捕捉低频和高频特征，同时充分利用卷积神经网络感受野提取的局部细节特征。我们将介绍一种结合小波正则化与对抗训练的框架。这种正则化方法满足稳定性理论中的Lipschitz约束。最后将通过一些经验实验的结果讨论这一方法及其局限性。

解读论文Jun Yan et al. Wavelet regularization benefits adversarial training. Information Sciences, 2023.https://www.sciencedirect.com/science/article/pii/S0020025523012355

分享内容大纲

1. 深度学习对抗样本研究科学史回顾

2. 小波分析及其在计算机视觉中应用科学史回顾

3. 解决的科学问题和研究动机

4. 研究贡献

5. 理论框架

6. 方法和实验

7. 开放问题的讨论

主要涉及到的知识概念

• 神经网络
• 视觉对抗样本
• 小波分析

• 主讲人介绍

主讲人介绍

严俊， 同济大学博士候选人，2020年9月进入同济电子与信息工程学院下属中德智能科学与技术研究中心担任科研助理。他的主要方向为视觉对抗样本及深度学习理论研究，在Information Sciences和Automotive Innovation等JCR Q1区期刊发表数篇论文，并为多个IEEE会刊、自动化学报（英语版）等期刊担任评审人。

主要涉及到的参考文献

关于神经网络对抗训练的经典文献：

Tianyu Pang et al. Bag of tricks for adversarial training. In ICLR, 2021.

Alex Madry et al. Towards deep learning models resistant to adversarial attacks. In ICLR, 2018.

关于过参数模型鲁棒性的经典文献：

Sebastien Bubeck et al. A universal law of robustness via isoperimetry. In NeurIPS, 2021.

关于深度学习频率原则的经典文献：

Zhi-Qin John Xu et al. Overview frequency principle/spectral bias in deep learning. arXiv preprint arXiv:2201.07395.

Dong Yin et al. A fourier perspective on model robustness in computer vision. In NeurIPS, 2019.

关于小波分析的经典文献：

Ingrid Daubechies. Ten lectures on wavelets. Society for industrial and applied mathematics, 1992.

本次分享与读书会主题之间的关系

 • 与读书会之间的关系：该主题主要涉及Math for AI。深度学习在实际面临各种安全风险（对抗攻击、隐私泄露、人与机器未对齐）的情况下，需要通过严谨的数学理论进行建模，引导实际工程应用中的安全防御。

 • 与复杂系统之间的关系：

这部分的理论启发为过参数化模型有助于深度神经网络的对抗鲁棒性，这种过参数化与鲁棒性之间的联系，正是目前人工智能社区在解释大模型时候用到的”Scaling Law”的某种理论基石。

直播信息

时间：

2023年11月10日（本周五）晚上20:00-22:00

参与方式：扫码参与人工智能与数学读书会，加入群聊，获取系列读书会回看权限，成为AI+Science社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

人工智能与数学读书会启动

人工智能与数学读书会主要围绕AI　for　math，math　for　AI两个方面深入探讨人工智能与数学的密切联系。首先，我们将概述人工智能在数学的应用，并深入探讨大模型与数学推理，定理自动证明， AI发现数学规律，符号计算等方向的研究工作。随后，我们将转向大模型与神经网络的数学基础。最后，我们将深入探讨几何与拓扑在机器学习的应用。人工智能与数学读书会自2023年9月15日开始，每周五晚上20:00-22:00举办，持续时间预计 8 周。欢迎对本话题感兴趣的朋友报名参加！

详情请见：

人工智能与数学读书会启动：AI for Math，Math for AI

点击“阅读原文”，报名读书会