重磅圆桌：图神经网络、组合优化、基础模型与AI4Science前沿探讨｜周六直播·图神经网络与组合优化读书会

导语

在读书会第一季的分享中，我们围绕“图神经网络与组合优化”和“图神经网络与AI4Science”两个主题进行了主题分享与文献解读。本次分享是图神经网络与组合优化读书会第一季的最后一期分享，将以主题分享+圆桌论坛的方式进行。

从图神经网络与组合优化这一主题出发，我们邀请Google DeepMind 实验室资深科学家戴涵俊老师来分享他们最近的一篇研究：在组合优化问题中重新审视抽样。以此为起点，我们也邀请了学界与业界优秀的一线科研工作者，包括上海交通大学计算机系教授严骏驰、耶鲁大学计算机科学系的助理教授应智韬、中国人民大学高瓴人工智能学院副教授黄文炳、加州理工学院博士后胡子牛，围绕GNN与组合优化、组合优化与基础模型的结合、GNN领域本身的灵魂拷问、GNN的杀手锏应用几个议题进行圆桌讨论。届时，国防科技大学系统工程学院副教授、读书会发起人范长俊老师将作为此次分享的主持人。

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

Part 1

分享简介

像马尔可夫链蒙特卡洛（ Markov chain Monte Carlo, MCMC）这样的抽样方法曾经在组合优化中很受欢迎，但传统方法的低效率和需要特定问题的设计制约了持续的发展。最近的研究更倾向于数据驱动的方法，可以减少对手工启发式方法的需求，但它依赖于在分布内训练并且在大规模情况下的可扩展性有限，因此数据驱动的方法通常无法作为开箱即用的求解器。

本次分享，戴涵俊老师将基于他们最近在ICML发表的一篇论文Revisiting Sampling for Combinatorial Optimization介绍基于离散空间采样做组合优化，提高算法计算效率与性能的思想。分享主要包括以下几个部分：

• 采样算法概述

• 离散空间的采样算法及其数学原理

• 在经典组合优化问题中采样算法与传统算法的对比

• 建立基础模型与组合优化之间的桥梁

核心概念

马尔可夫链蒙特卡洛（ Markov chain Monte Carlo, MCMC）

什么是蒙特卡罗模拟 | 集智百科

组合优化(Combinatorial Optimization）

什么是组合优化 | 集智百科

分享人简介

戴涵俊，Google DeepMind实验室资深科学家和研究经理，此前于佐治亚理工获得博士学位，期间在Google Brain，DeepMind，OpenAI和AWS积攒了丰富的行业经验。他的工作曾获得Google Research技术影响力奖，AISTATS最佳学生论文奖以及NeurIPS的最佳研讨会论文奖。他曾担任包括ICML和NeurIPS在内的顶级会议的Area Chair, 并在这些会议上发表了50多篇论文，引用超过7,000次。其最近在语言模型RLHF上的项目成果也出现在2023年Google I/O和Cloud Next上。

研究方向：高效的生成模型，包括大语言模型，图像和结构化数据模型，及其采样和优化的底层算法。

参考文献

讲者将会重点解读这篇文献，介绍基于离散空间采样做组合优化，提高算法计算效率与性能的思想。Sun, Haoran, et al. “Revisiting Sampling for Combinatorial Optimization.” (2023).
相较于传统的基于文本生成图像，这篇文章是基于生成的图像，学习喂给大模型的文本。Stochastic Gradient and Langevin Processes, Xiang Cheng and Dong Yin and Peter L. Bartlett and Michael I. Jordan, 2020, arXiv
这篇文献中，讲者提出了S2V-DQN算法。Khalil, Elias, et al. “Learning combinatorial optimization algorithms over graphs.” Advances in neural information processing systems 30 (2017).视频：https://www.youtube.com/watch?v=14R3kkO1jSY代码：https://paperswithcode.com/paper/learning-combinatorial-optimization

Part 2

圆桌议题

1.GNN与组合优化（AI在组合优化领域的应用与未来发展）

a.对于经典组合优化问题，以GNN为代表的AI方法，相比该领域的SOTA方法，到底是不是真有用，以及有多大用？

b.AI组合优化领域哪些研究方向你比较看好？

c.除了经典的组合优化问题，还有哪些组合优化问题是你觉得AI方法可以发挥更大作用的？

2.组合优化与大语言模型的结合

a.组合优化如何帮助大模型推理？

b.大模型如何帮助组合优化求解？

c.如何通过组合优化构建GNN基础模型？

3.GNN领域本身的灵魂拷问

a.现在的GNN还有哪些本质的问题没被解决？

b.目前GNN还没有取得像CV，NLP一样突破性的进展，它的能力边界在哪里？本身的痛点难点在哪里？

c.GNN与Transformer等模型相比有什么本质的不同和优势？什么场景下用GNN更好？

4.GNN的杀手锏应用

a.GNN是否在AIGC、AI for Science等挑战性任务上发挥了不可取代的作用？有哪些例子？

b.在实际应用中，是否需要GNN通用大模型或者GNN foundation model？

主持人·范长俊

国防科技大学系统工程学院副教授，国防科技大学本科、硕士和博士，美国加州大学洛杉矶分校联合培养博士。以第一及通讯作者在Nature Machine Intelligence、Nature Communications、AAAI、CIKM等顶级期刊和会议发表学术论文30余篇。主持与参与10余项国家级重大项目。湖湘青年英才。先后获吴文俊人工智能科技进步一等奖、世界人工智能大会青年优秀论文奖、CICC优博论文奖和国防科技大学青年创新一等奖。

研究方向：研究方向是图深度学习、组合优化与强化学习。

范长俊老师在读书会上的主题分享：人工智能前沿：组合优化问题的机器学习求解 | 范长俊分享整理扫码查看回放

圆桌嘉宾·严骏驰

上海交通大学计算机系教授。国家优青、IET Fellow、科技部新一代人工智能重大项目、基金委人工智能重大研究计划项目负责人，教育部深度学习资源建设首席专家。曾在IBM研究院任职7年（Band9级首席研究员）。发表第一/通讯作者CCF-A类论文超百篇，谷歌引用过万次，成果先后获PaperDigest评选的最具影响力AAAI21、IJCAI23论文榜首。长期任ICML/NeurIPS/ICLR等顶会领域主席，模式识别旗舰期刊PRJ编委。带领学生获得挑战杯特等奖、自然基金青年本科生基金等荣誉。研究方向：机器学习及交叉应用。

圆桌嘉宾·应智韬

耶鲁大学计算机科学系的助理教授。博士毕业于斯坦福大学计算机科学博士学位。本科以最高荣誉毕业于杜克大学计算机科学和数学。是许多广泛使用的GNN算法的作者，如GraphSAGE，PinSAGE和GNNExplainer。此外，R致力于图形学习在物理模拟、社交网络、知识图谱、神经科学和生物技术中的各种应用。Rex在Pinterest开发了第一个十亿规模的图嵌入服务，在亚马逊开发了基于图的异常检测算法。

研究方向：包括图神经网络算法、几何嵌入、可解释模型，以及最近涉及关系推理的多模态基础模型。

应智韬老师在读书会上的主题分享：多模态基础模型关系推理能力概述扫码查看回放

圆桌嘉宾·黄文炳

中国人民大学高瓴人工智能学院准聘副教授、博导。曾在清华大学智能产业研究院担任助理研究员，腾讯AI Lab担任高级研究员，提出了一系列以图神经网络为代表的几何机器学习理论方法，有效实现图谱、时空序列等复杂结构的表示与生成，以及交互物体、具身智能体、复杂网络等复杂系统的感知与决策，成果应用于AI for Science、具身智能、社交网络分析等。在人工智能领域顶级会议或期刊发表论文50余篇，谷歌学术引用7000多次，单篇引用最高1000余次。研究获得了国家自然基金、科技部科技创新2030-“新一代人工智能”重大项目等支撑。曾获ICLR 2023 杰出论文提名奖，入选北京科技新星、腾讯犀牛鸟学者、微软铸星学者等人才称号。

研究方向：几何机器学习驱动的复杂结构与系统的表示、生成及决策。

黄文炳老师在读书会上的主题分享：几何深度学习：让物理世界拥有AI | 黄文炳分享整理扫码查看回放

圆桌嘉宾·胡子牛

加州理工学院博士后，2024年将加入伦斯勒理工学院担任助理教授。博士毕业于加州大学洛杉矶分校计算机科学专业，本科毕业于北京大学计算机科学专业。曾获得过多个学术荣誉，包括neurips 2023 dl + differential equation和socal-nlp 2023最佳论文，以及www 2019最佳长论文，研究得到百度博士奖学金和亚马逊博士奖学金计划的支持。曾在 Google Brain 和 Microsoft Research 实习。提出的HGT，AVIS-LLM等算法在业界产品有广泛应用。研究方向：大型语言模型（LLM），包括智能体（使用工具和内存）、规划和推理（尤其是数学、代码、游戏和视觉世界）和自我改进，长期研究目标是构建神经符号人工智能。

直播信息

时间：2023年11月11日（本周六）上午9:00-11:00。
参与方式：扫码报名
扫码参与图神经网络与组合优化读书会，加入群聊，获取系列读书会回看权限，成为图神经网络社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动图神经网络社区的发展。

图神经网络与组合优化读书会启动

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！详情请见：加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动

AI+Science 读书会

AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 9:00-11:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。详情请见：人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动

大模型与生物医学：

AI + Science第二季读书会启动

生物医学是一个复杂且富有挑战性的领域，涉及到大量的数据处理、模式识别、理论模型建构和实验验证等问题。AI基础模型的引入，使得我们能够从前所未有的角度去观察和理解这个领域的问题，加速科学研究的步伐，提高医疗服务的效率和效果。这种交叉领域的合作，标志着我们正在向科技与生物医学深度融合的新时代迈进，对于推动科学研究、优化医疗服务、促进人类健康有着深远的影响。
集智俱乐部联合西湖大学助理教授吴泰霖、斯坦福大学计算机科学系博士后研究员王瀚宸、博士研究生黄柯鑫、黄倩，华盛顿大学博士研究生屠鑫明，共同发起以“大模型与生物医学”为主题的读书会，共学共研相关文献，探讨基础模型在生物医学等科学领域的应用、影响和展望。读书会从2023年8月20日开始，每周日早上 9:00-11:00 线上举行，持续时间预计8周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

详情请见：

大模型与生物医学：AI + Science第二季读书会启动

“后ChatGPT”读书会

2022年11月30日，一个现象级应用程序诞生于互联网，这就是OpenAI开发的ChatGPT。从问答到写程序，从提取摘要到论文写作，ChatGPT展现出了多样化的通用智能。于是，微软、谷歌、百度、阿里、讯飞，互联网大佬们纷纷摩拳擦掌准备入场……但是，请先冷静一下…… 现在 all in 大语言模型是否真的合适？要知道，ChatGPT的背后其实就是深度学习+大数据+大模型，而这些要素早在5年前的AlphaGo时期就已经开始火热了。5年前没有抓住机遇，现在又凭什么可以搭上大语言模型这趟列车呢？
集智俱乐部特别组织“后 ChatGPT”读书会，由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。

详情请见：
“后 ChatGPT”读书会启动：从通用人工智能到意识机器

点击“阅读原文”，报名直播