小波在对抗性鲁棒性方面击败了猴子。

​

Wavelets Beat Monkeys at Adversarial Robustness

解决问题：该论文旨在解决提高神经网络对抗噪声的鲁棒性的问题。这是否是一个新问题？不是一个新问题，但是在当前领域中引起了广泛关注。

关键思路：该论文的关键思路是使用物理启发的结构来提高神经网络的鲁棒性。相比当前领域的研究，该论文的思路在使用物理启发的结构方面具有新意。

其他亮点：该论文使用CIFAR-10数据集进行了广泛的实验，证明了使用物理启发的结构可以提高神经网络的鲁棒性。该论文还提到了一个值得关注的工作，即使用神经生物学工具来设计神经网络，这在当前领域也引起了广泛关注。该论文没有提供开源代码。

关于作者：Jingtong Su和Julia Kempe是本文的主要作者。他们分别来自新加坡国立大学和纽约大学。Jingtong Su之前的代表作包括“Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model”（2017）和“Deep Learning for Real-time At-sea Automatic Identification System Data Cleaning”（2019）。Julia Kempe之前的代表作包括“Quantum Random Walks Hit Exponentially Faster”（2003）和“Gossip-Based Computation of Aggregate Information”（2005）。

相关研究：近期其他相关的研究包括“Adversarial Robustness through the Lens of Structural Stability”（作者：Ludwig Schmidt等，机构：MIT）和“Adversarial Training and Provable Robustness: A Tale of Two Objectives”（作者：Mahyar Najibi等，机构：UC Berkeley）。

论文摘要：文章讨论了如何提高神经网络对抗噪声的鲁棒性，即对于数据的微小恶意扰动具有稳健性。目前，最先进的防御方法是对抗训练（AT），但相比于标准训练，它需要消耗更多的资源并且需要在准确性和鲁棒性之间进行权衡。最近的一项研究旨在将神经生物学工具引入到这个问题中，以开发出类似于人类视觉的稳健的神经网络。该研究设计了一个具有神经隐藏层的网络结构，模仿了灵长类动物的视觉皮层（V1），后面跟随的是从当前CNN视觉模型中改编的后端结构。在小的扰动测试中，它似乎在标准视觉基准测试中实现了非微不足道的对抗鲁棒性。本文重新审视了这项受生物启发的工作，并探讨了是否可以通过从物理学中获得灵感来实现相同的目标，而无需使用参数。我们发现，小波散射变换可以取代复杂的V1皮层，而简单的均匀高斯噪声可以扮演神经随机性的角色，以实现对抗鲁棒性。在自适应对抗攻击的CIFAR-10基准测试中进行了大量实验，我们发现：1）当将对抗攻击半径的强度设置为常用基准时，VOneBlock架构的鲁棒性相对较弱（尽管不为零）。2）将前端的VOneBlock替换为现成的无参数Scatternet，后面跟随简单的均匀高斯噪声，可以在无需对抗训练的情况下实现更加实质性的对抗鲁棒性。我们的工作展示了如何通过受物理启发的结构获得新的对鲁棒性的见解，这些见解以前只能通过精心模仿人类皮层来实现。

​Read More