NeurIPS 2023大奖出炉！OpenAI联创Ilya获时间检验奖，谷歌170+篇霸榜

  新智元报道  

编辑：桃子 好困

【新智元导读】NeurIPS 2023杰出论文正式公布了！今年共有6篇获奖论文，斯坦福谷歌摘得「杰出论文」桂冠。此外，Ilya Sutskever、Jeff Dean团队十年前的word2vec论文获得了「时间检验奖」，可谓实至名归。

NeurIPS 2023终于开奖了！今天，官方正式公布了3个类别的共6篇获奖论文，分别为：杰出论文；杰出论文（亚军）；杰出数据集和基准论文。其中，斯坦福团队成功破圈的「大模型涌现能力是海市蜃楼」一举斩获了「杰出论文」奖。而该奖项的另外一篇，则颁给了谷歌团队关于隐私审计的研究。另外，Hugging Face哈佛、斯坦福两个团队拿下了「杰出论文（亚军）」，分别展开了关于数据集受限扩展LLM，以及大模型调优策略DPO的研究。「杰出数据集和基准论文」奖可谓是华人之光，UIUC的Bo Li、汪博欣、Weixin Chen、Hengzhi Pei、Chulin Xie，UC伯克利的宋晓冬（Dawn Song）博士、微软的林梓楠、Yu Cheng等等。与此同时，十年的「时间检验奖」颁给了Ilya Sutskever、Jeff Dean谷歌团队在2013年发表的论文，提出了开创性的词嵌入技术word2vec。值得一提的是，NeurIPS 2023论文投稿创下历史新高，今年共有13321篇投稿，录用论文有3584篇，录用率约27%。相较于2022年（25.6％），录用比例大幅提升。众所周知，NeurIPS与ICML、ICLR并称机器学习领域国际三大顶会，代表人工智能领域研究最高水平。至今，NeurIPS已经是召开的第37届，已经在12月10日-16日在路易斯安那州新奥尔良市开幕。今年的NeurIPS 2023可谓盛况空前，Jeff Dean、Jim Fan、Stability AI的CEO等AI圈的大佬纷纷前去参加。

杰出论文

「杰出论文」奖共有2篇，分别颁给了谷歌和斯坦福团队。值得一提的是，斯坦福团队「大模型涌现能力是海市蜃楼」这篇获奖论文在AI圈掀起了激烈的讨论，如今也算是实至名归。论文题目：Privacy Auditing with One (1) Training Run作者：Rylan Schaeffer · Brando Miranda · Sanmi Koyejo机构：谷歌

论文地址：https://arxiv.org/abs/2305.08846这项研究提出了一种只需单次训练运行，即可对不同的私有机器学习系统进行审计的方案。这利用了能够独立添加或删除多个训练样本的并行性。研究人员利用差异隐私和统计泛化之间的联系来分析这一点，从而避免了群体隐私的成本。最新的审计方案对算法的假设要求极低，并可应用于黑盒或白盒环境。研究人员通过将框架应用于DP-SGD来证明其有效性，在DP-SGD中，只需训练一个模型就能实现有意义的经验隐私下限。相比之下，标准方法需要训练数百个模型。论文题目：Are Emergent Abilities of Large Language Models a Mirage?作者：Rylan Schaeffer · Brando Miranda · Sanmi Koyejo机构：斯坦福大学

论文地址：https://arxiv.org/abs/2304.15004最近的研究声称，大型语言模型的涌现能力，在参数规模较小的模型中不存在，而在巨量参数模型中更常见。大模型涌现能力有着极大吸引力，主要有两方面的原因：一是其敏锐性，从不曾出现到出现似乎是瞬间完成的；二是其不可预测性，出现在似乎无法预见的模型尺度上。这项研究中，斯坦福研究人员提出了对涌现能力的另一种解释：对于特定的任务和模型系列，在分析固定的模型输出时，涌现能力的出现是由于研究人员对指标的选择，而不是由于模型行为随着参数规模的扩大发生了根本性的变化。具体来说，非线性或不连续的指标会产生明显的涌现能力，而线性或连续的指标会产生平滑、连续、可预测的模型性能变化。研究人员在一个简单的数学模型中提出另一种解释，然后以3种互补的方式对其进行测试：（1） 使用 InstructGPT/GPT-3系列对声称具有突发性能力的任务，对指标选择的影响进行了三项预测、测试和确认，（2） 在BIG-Bench上突发性能力的元分析中进行了两项预测、测试和确认；以及（3）展示了如何选择指标，在不同深度网络的多个视觉任务中产生前所未见的看似突发性的能力。通过这三项分析，研究人员证明所谓的涌现能力，会随着不同的指标或更好的统计数据而消失，并且可能不是扩展AI模型的基本属性。

杰出论文（亚军）

「杰出论文（亚军）」奖也有两篇，分别颁给了Hugging Face哈佛等人在数据受限情况下扩展语言模型的研究，以及斯坦福大学团队提出的「直接偏好优化算法」（DPO）。论文题目：Scaling Data-Constrained Language Models作者：Niklas Muennighoff · Alexander Rush · Boaz Barak · Teven Le Scao · Nouamane Tazi · Aleksandra Piktus · Sampo Pyysalo · Thomas Wolf · Colin Raffel机构：Hugging Face、哈佛大学、图尔库大学

论文地址：https://arxiv.org/abs/2305.16264

开源项目：https://github.com/huggingface/datablations当前扩展语言模型（scaling language models）主要趋势是增加参数数量和训练数据集规模。根据这一趋势推断，训练数据集的规模可能很快就会受到互联网上可用文本数据量的限制。受此启发，研究人员研究了数据受限情况下的扩展语言模型。具体来说，作者进行了大量不同数据重复程度和计算预算的实验，高达9000亿个token和90亿个参数的模型。研究结果发现，在计算预算、数据受限的情况下，使用最多4个epoch的重复数据进行训练所产生的损失变化可以忽略不计。然而，随着重复次数的增加，增加计算的价值最终会衰减到零。对此，研究人员凭经验验证了计算最优性的缩放法则，该法则解释了重复token和多余参数的值递减的情况。最后，他们还尝试了缓解数据稀缺的方法，包括使用代码数据或删除常用的过滤器来增强训练数据集。论文题目：Direct Preference Optimization: Your Language Model is Secretly a Reward Model作者：Rafael Rafailov · Archit Sharma · Eric Mitchell · Christopher D Manning · Stefano Ermon · Chelsea Finn机构：斯坦福大学、CZ Biohub

论文地址：https://arxiv.org/abs/2305.18290虽然大规模无监督LM可以学习广泛的世界知识和一些推理技能，但由于其训练完全处于无监督状态，因此很难实现对其行为的精确控制。当前，这种可控性的现有方法通常是通过人类反馈强化学习（RLHF），收集人类标签，并根据这些偏好对无监督语言模型进行微调。然而，RLHF是一个复杂且不稳定的过程，首先要拟合一个反映人类偏好的奖励模型，然后利用强化学习对大型无监督LM进行微调，以最大化这种估计奖励，同时不会偏离原始模型太远。在本文中，研究人员利用奖励函数和最优策略之间的映射关系来证明，只需进行一个阶段的策略训练，就能精确优化这个受限奖励最大化问题，本质上解决了人类偏好数据的分类问题。由此产生的算法被研究人员将其称为「直接偏好优化算法」（DPO），它的特点是稳定、高效、计算量轻，无需拟合奖励模型，无需在微调过程中从LM中采样，也无需进行大量的超参数调整。实验表明，DPO可以对LM进行微调，使其与人类偏好保持一致，甚至优于现有方法。值得注意的是，DPO的微调能力超过了RLHF的控制能力，并提高了总结和单轮对话的响应质量，同时实施和训练起来更加简单。

杰出数据集和基准论文

「杰出数据集论文」奖颁给了由UCI、英伟达等20个机构联手发布的专为混合机器学习物理研究数据集ClimSim。

「杰出基准论文」奖颁给了UIUC、斯坦福、UC伯克利等机构提出的大模型可信度评估框架DecodingTrust。

数据集

论文题目：ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation作者：Sungduk Yu · Walter Hannah · Liran Peng · Jerry Lin · Mohamed Aziz Bhouri · Ritwik Gupta · Björn Lütjens · Justus C. Will · Gunnar Behrens · Julius Busecke · Nora Loose · Charles Stern · Tom Beucler · Bryce Harrop · Benjamin Hillman · Andrea Jenney · Savannah L. Ferretti · Nana Liu · Animashree Anandkumar · Noah Brenowitz · Veronika Eyring · Nicholas Geneva · Pierre Gentine · Stephan Mandt · Jaideep Pathak · Akshay Subramaniam · Carl Vondrick · Rose Yu · Laure Zanna · Tian Zheng · Ryan Abernathey · Fiaz Ahmed · David Bader · Pierre Baldi · Elizabeth Barnes · Christopher Bretherton · Peter Caldwell · Wayne Chuang · Yilun Han · YU HUANG · Fernando Iglesias-Suarez · Sanket Jantre · Karthik Kashinath · Marat Khairoutdinov · Thorsten Kurth · Nicholas Lutsko · Po-Lun Ma · Griffin Mooers · J. David Neelin · David Randall · Sara Shamekh · Mark Taylor · Nathan Urban · Janni Yuval · Guang Zhang · Mike Pritchard机构：加利福尼亚大学尔湾分校、劳伦斯利弗莫尔国家实验室、哥伦比亚大学、加利福尼亚大学伯克利分校、麻省理工学院、DLR、普林斯顿大学、洛桑大学、太平洋西北国家实验室、桑迪亚国家实验室、俄亥俄州立大学、英伟达、加利福尼亚大学圣迭戈分校、纽约大学、加利福尼亚大学洛杉矶分校、加利福尼亚州立大学、艾伦人工智能研究所、清华大学、布鲁克海文国家实验室、纽约州立大学

论文地址：https://arxiv.org/abs/2306.08754由于计算限制，现代气候预测缺乏足够的空间和时间分辨率，其后果是对风暴等关键过程的预测不准确、不精确。将物理学与机器学习相结合的方法引入了新一代高保真气候模拟器，通过将计算量巨大的短时高分辨率模拟外包给ML仿真器，能够绕开摩尔定律。然而，这种混合ML物理模拟方法需要针对特定领域进行处理，而且由于缺乏训练数据和相关的易用工作流程，机器学习领域的专家一直无法使用。对此，由20个机构联手发布了ClimSim——专为混合机器学习物理研究而设计的有史以来最大的数据集。它包括多尺度气候模拟，由气候科学家和ML研究人员联合开发。它由57亿对多变量输入和输出向量组成，可隔离局部嵌套、高分辨率、高保真物理对主机气候模拟器宏观物理状态的影响。这一数据集覆盖全球，以高采样频率采集跨越多年数据，其设计使所产生的模拟器与下游的业务气候模拟器耦合兼容。研究人员实施了一系列确定性和随机回归基线，来突出机器学习挑战及其评分。

基准

论文题目：DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models作者：Boxin Wang · Weixin Chen · Hengzhi Pei · Chulin Xie · Mintong Kang · Chenhui Zhang · Chejian Xu · Zidi Xiong · Ritik Dutta · Rylan Schaeffer · Sang Truong · Simran Arora · Mantas Mazeika · Dan Hendrycks · Zinan Lin · Yu Cheng · Sanmi Koyejo · Dawn Song · Bo Li机构：伊利诺伊大学香槟分校、斯坦福大学、加利福尼亚大学伯克利分校、CAIS、微软

论文地址：https://arxiv.org/abs//2306.11698

开源项目：https://decodingtrust.github.io/生成式预训练 Transformer（GPT）模型已经取得了激动人心的进展，引起了业内专家和公众的广泛关注。然而，目前关于GPT模型可信度的研究还相对有限。尽管如此，业界专家还是希望将这些高能力的GPT模型应用于医疗保健和金融等敏感领域。但在这之中，出现错误的代价极高。鉴于此，本研究提出了一套针对大型语言模型的全面可信度评估框架，重点关注GPT-4和GPT-3.5，并从多个角度进行评估，包括毒性、刻板印象偏见、对抗性攻击鲁棒性、分布外鲁棒性、对抗性示范鲁棒性、隐私保护、机器伦理和公平性等方面。其中，研究人员发现了之前未被公开的有关信任度的漏洞。比如，GPT模型很容易被误导，生成有毒和带有偏见的内容，同时可能在训练数据和对话历史中泄露私人信息。此外，尽管GPT-4通常在标准评测中比GPT-3.5更可靠，但在面对越狱系统或特定用户提示时，GPT-4显得更加脆弱，这可能是因为GPT-4更严格地遵循（误导性的）指令。总结而言，这项工作提供了对GPT模型可信度的全面评估，并揭示了其中的差距。

时间检验奖

今年的「时间检验奖」，颁给了10年前的NeurIPS论文「Distributed Representations of Words and Phrases and their Compositionality」，作者是Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado和Jeffrey Dean。这篇论文提出了一种开创性的词嵌入技术word2vec，并被2013年的NeurIPS大会收录，迄今已被引用超过40,000次。这项工作通过演示从大量非结构化文本中学习的强大能力，成为了自然语言处理领域新时代开始的一个重要标志，催生了该领域的快速发展。

论文地址：https://arxiv.org/abs/1310.4546

Ilya Sutskever

相关文章：起底OpenAI「国王」Ilya：师从Hinton，为了他，马斯克与谷歌创始人彻底决裂Ilya Sutskever是一位杰出的计算机科学家，并在深度学习领域作出了很多重要贡献。Sutskever于1985/1986年出生在俄罗斯，5岁时他与家人移民到了以色列，在耶路撒冷度过了他的成长岁月。之后，他随家人移居到加拿大。Sutskever在多伦多大学取得了一系列学位：2005年获得数学学士学位，2007年获得计算机科学硕士学位，2013年获得计算机科学博士学位，导师是Geoffrey Hinton。2012年，Sutskever与Alex Krizhevsky和Geoffrey Hinton共同提出了著名的卷积神经网络AlexNet。年底，Sutskever在斯坦福大学与吴恩达一同度过了两个月的博士后生涯。随后，他返回多伦多大学，并加入了由Hinton成立的研究公司DNNResearch。仅四个月后，谷歌于2013年3月收购了DNNResearch，并聘请Sutskever成为Google Brain的研究科学家。在Google Brain期间，Sutskever与Oriol Vinyals和Quoc Viet Le合作开发了Seq2seq学习算法，并参与了TensorFlow的开发。2015年底，他离开谷歌，成为OpenAI的联合创始人和首席科学家。2023年，他宣布将共同负责OpenAI的新项目「超级对齐」，目标在四年内解决超级智能体的对齐问题。11月，他与OpenAI董事会一同决定解雇首席执行官Sam Altman，不过Sam Altman在一周后又回到了公司。

Jeff Dean

Jeff Dean于1999年加入谷歌，目前担任谷歌的首席科学家，主要工作是推动Google DeepMind和Google Research在AI领域的发展。

谷歌170+篇论文一骑绝尘

今年，各个机构的录用论文总数也呈上升趋势。从6篇「杰出论文」中有4篇论文都是与大模型相关的研究。NeurIPS 2023整体研究方向可见一斑。谷歌官方博客公布，今年NeurIPS的录用论文高达170多篇，不愧是全球最高产的大厂。此外，微软团队共有100+篇录用论文，Meta有60+篇，英伟达有17篇。还有许多公司恰逢在这个全球最负盛名的AI学术会议NeurIPS 2023上，纷纷介绍了自家的最新成果。正如Karpathy上周所称，如果人们想知道为什么现在有这么多AI活动，那是因为下周将举行最大的深度学习会议（NeurIPS）。其中就包括，22人初创公司Mistral AI先是一条磁力链接预热自家模型，再到今天正式官宣，并公布了测评结果，8x7B MoE模型，性能比肩Llama 2 70B，超越GPT-3.5。还有Cerebras团队提出的gigaGPT，仅用565行代码训练了GPT-3大小的模型。参考资料：https://blog.neurips.cc/2023/12/11/announcing-the-neurips-2023-paper-awards/