一作解读：从谱聚类角度理解对比学习｜周五直播·人工智能与数学读书会

导语

Buchberger算法是计算代数几何中最基础的算法，但是它自诞生之日起就存在效率问题，主要是配对多项式的计算量过大。在世纪之交，人们用基于签名的方法改进这个算法，并得到了很多进展。到2020年，Mike Stillman及其团队开始思考利用强化学习的方法改进Buchberger算法。这次分享分为三个部分：Grobner基础理论的基本概念和Buchberger算法的原始形式、21世纪以来基于签名的改进方法，Mike Stillman及其团队的基本想法。
为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。本读书会是“AI+Science”主题读书会的第三季。读书会自9月15日开始，每周五晚20:00-22:00，预计持续时间8～10周。欢迎感兴趣的朋友报名参与！

分享内容简介

本次分享将会讨论如何利用数学来理解对比学习的成功，并帮助提供新的改进。对比学习是一种强大的自监督学习方法，但我们对其工作原理和为何有效的理论理解有限。我们将会讨论使用标准的InfoNCE损失函数进行对比学习等价于在相似性图上进行谱聚类。利用这个等价关系作为基础，我们将分析扩展到了CLIP模型，并严格地描述了多模态对象如何被嵌入到一起。

本次分享讲主要解读“Contrastive Learning Is Spectral Clustering On Similarity Graph”这篇论文，介绍如何从马尔科夫随机场（markov random field）角度来自然导出对比学习（contrastive learning），并提供了这个框架在多模态学习上的应用。我们建立的框架不但可以准确理解对比学习成功的原因，还可以启发更好的改进。

分享内容大纲

‍

• 引言 Preliminaries

• 背景介绍 Background

• 研究动机 Research motivation

• 单模态对比学习与谱聚类的关系 Unimodal contrastive learning and spectral clustering

• 应用于多模态对比学习 Applying to multi-modal contrastive learning

• 新的损失函数 New loss

主要涉及到的知识概念

• 对比学习 Contrastive learning

• 谱聚类 Spectral clustering

• 马尔科夫随机场 Markov random field

• 核方法 Kernel method

主讲人介绍

智泉，清华大学数学系在读博士。主要研究方向是自监督学习、深度学习理论、表示学习。在NIPS上发表论文1篇。

主要涉及到的参考文献

Tan Z, Zhang Y, Yang J, et al. Contrastive Learning Is Spectral Clustering On Similarity Graph[J]. arXiv preprint arXiv:2303.15103, 2023.

本次分享与读书会主题之间的关系

 • 与读书会之间的关系：本次主讲内容与时math4ai密切相关，讲解数学来理解对比学习算法并提出数学启发的新算法。

直播信息

时间：

2023年10月27日（本周五）晚上20:00-22:00

参与方式：扫码参与人工智能与数学读书会，加入群聊，获取系列读书会回看权限，成为AI+Science社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

人工智能与数学读书会启动

人工智能与数学读书会主要围绕AI　for　math，math　for　AI两个方面深入探讨人工智能与数学的密切联系。首先，我们将概述人工智能在数学的应用，并深入探讨大模型与数学推理，定理自动证明， AI发现数学规律，符号计算等方向的研究工作。随后，我们将转向大模型与神经网络的数学基础。最后，我们将深入探讨几何与拓扑在机器学习的应用。人工智能与数学读书会自2023年9月15日开始，每周五晚上20:00-22:00举办，持续时间预计 8 周。欢迎对本话题感兴趣的朋友报名参加！

详情请见：

人工智能与数学读书会启动：AI for Math，Math for AI

点击“阅读原文”，报名读书会