Meta AI｜自监督学习方案手册（含有44页PDF下载）

​

A Cookbook of Self-Supervised Learning

论文地址：

https://arxiv.org/abs/2304.12210 

下载地址：

https://event-cdn.baai.ac.cn/file/file-browser/QnQfdW7cPyF6nJktZWfnpxJwy4M3zzyp.12210.pdf 

推荐理由：

自监督学习(SS)的方案手册，旨在通过介绍基础技术和实践考虑因素，帮研究人员降低掌握自监督学习的门槛，以推进机器学习的发展。

论文摘要：

自我监督学习被称为智力的暗物质，是推进机器学习的一条有前途的途径。然而，就像烹饪一样，训练SSL方法是一门微妙的艺术，有很高的进入门槛。虽然许多组件都很熟悉，但成功训练SSL方法涉及从借口任务到训练超参数的一系列令人眼花缭乱的选择。

我们的目标是通过以烹饪书的风格奠定基础和最新的SSL食谱来降低进入SSL研究的障碍。我们希望让好奇的研究人员能够驾驭方法的地形，了解各种旋钮的作用，并获得探索SSL的美味所需的专业知识。

关于作者：

Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes, Gregoire Mialon, Yuandong Tian, Avi Schwarzschild, Andrew Gordon Wilson, Jonas Geiping, Quentin Garrido, Pierre Fernandez, Amir Bar, Hamed Pirsiavash, Yann LeCun, Micah Goldblum

关键思路：

• 动机：自监督学习是推进机器智能的新范式，但由于方法繁多且实现复杂，现有研究存在着研究门槛高、缺乏理论研究、缺乏统一术语等问题。
• 方法：提供了一本自监督学习(SS)的方案手册，分为基础技术和实践考虑因素两个部分，旨在帮助研究人员降低SS学习的门槛，以推进机器学习的发展。
• 优势：通过提供自监督学习(SS)的方案参考，帮研究人员降低SS学习的门槛，以推进机器学习的发展。

​Read More