录用率26.1％！NeurIPS 2023论文放榜，马毅田渊栋团队研究被接收

  新智元报道  

编辑：桃子

【新智元导读】一年一度的NeurIPS大会论文接收结果公布了。今年录用率高达26.1％，多项优秀研究纷纷被接收。

NeurIPS 2023录用结果公布了！

根据官方公布的邮件显示，今年共有12343篇投稿，接受率为26.1%。相较2022年（25.6％），还是有所增加。

NeurIPS 是当前全球最负盛名的 AI 学术会议之一，至今召开的已是是第 37 届，将于 12 月 10 日-16 日在路易斯安那州新奥尔良市举行。

录用论文精选

一起来看看，都有哪些大佬论文被录用。

马毅团队

马毅教授团队6月发布的最新研究成果被NeurIPS接收。

这项研究设计了一个完全可用数学解释的白盒Transformer模型CRATE，并在真实世界数据集ImageNet-1K上取得了接近ViT的性能。

通过大量的实验，研究人员证明了当采用白盒Transformer模型CRATE时，其设计明确地模拟并追求数据分布中的低维结构，整体和部分级别的分割属性已经以最小化的监督训练配方出现。

分层的细粒度分析表明，涌现属性有力地证实了白盒网络的设计数学功能。我们的结果提出了一条设计白盒基础模型的途径，该模型同时具有高性能和数学上完全可解释性。

马毅教授也表示，深度学习的研究将会逐渐从经验设计转向理论指导。

论文地址：https://arxiv.org/pdf/2306.01129.pdf

目前，这个项目已经在GitHub上有500+星。

田渊栋团队：3篇论文录用

在本届NeurIPS 2023，田渊栋团队有三篇论文都被录用。

我们的Scan&Snap论文被NeurIPS 2023接收！

该论文分析了单层Transformer（自注意 + 线性解码器）的训练动态，同时表明了，可以证明注意力只关注与查询多次重复出现的辨别性关键token，从而随着时间的推移变得稀疏。

关于多层Transformer +非线性MLP激活的后续研究正在进行中，让我们看看情况有什么不同。

论文地址：https://arxiv.org/pdf/2305.16380.pdf

还有一篇LANCER论文也被NeurIPS2023接收。

许多研究都在尝试学习解决方案g，以预测目标函数f的解，这可能是很难解决的组合优化问题。

然而，如果我们联合学习「f组成g」的替代成本函数呢？这样可以避免多次调用求解器，并大大加快学习过程。

这就是LANCER，它在多个组合问题（包括投资组合优化等实际问题）上都取得了很好的结果。

论文地址：https://arxiv.org/pdf/2305.16380.pdf

第三篇是H2O论文被NeurIPS 2023接收！

H2O表明，我们可以在KV缓存中删除80%的token，但下一个token预测的困惑度保持不变！这将大大降低你的推理成本。

论文地址：https://arxiv.org/pdf/2306.14048.pdf

Oral：数学定理证明器LeanDojo

更重磅的是，加州理工、英伟达、MIT等机构的学者，构建了一个基于开源LLM的定理证明器接收为NeurIPS Oral。

在此，研究人员提出一个开源平台LeanDojo，提供工具包、基准和模型，为LLM创造了一种定理证明的交互式环境。

论文一作杨凯峪曾表示，公式证明是计算机程序，其正确性可以被验证。

最重要的是，这项研究为解决LLM，在事实性和幻觉方面的缺陷开辟了一条新途径。

因为，定理证明是一种具有严格评价的代码生成形式，根本没有让模型产生幻觉的空间。

项目地址：https://leandojo.org/

浙江大学、微软亚洲研究院的研究团队，发布了一个大模型协作系统HuggingGPT被录用。

HuggingGPT利用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，来完成多模态复杂任务。

这意味着，你将拥有一种超魔法，通过HuggingGPT，便可拥有多模态能力，文生图、文生视频、语音全能拿捏了。

论文地址：https://arxiv.org/pdf/2303.17580.pdf

谷歌团队提出的SuTI被接收。

这是一个主题驱动的文本-图像生成器，它用i上下文学习取代了特定主题的微调。

给予一个新主题的几个示范，SUTI可以立即生成该主题在不同场景中的新演绎，而不需要任何特定主题的优化。

SuTI是由「学徒学习」提供动力的，其中一个学徒模型是从大量特定主题的专家模型产生的数据中学习的。

论文地址：https://arxiv.org/pdf/2304.00186.pdf

还有前OpenAI科学家Jeff Clune在今年发表的一篇论文「思想克隆」也被NeurIPS 2023录用。

研究中提出，人工智能通过模仿人类，也能学会像人类一样「思考」和「行动」。

论文地址：https://arxiv.org/pdf/2306.00323.pdf

「我的世界」专用模型STEVE-1，拿下了今年NeurIPS的一篇Spotlight。

这是由来自多伦多大学和Vector人工智能研究院团队，提出了「我的世界」中智能体STEVE-1。

证明了已在DALL·E 2中使用的unCLIP方法对创建遵循指令的顺序决策智能体同样有效。

论文地址：https://sites.google.com/view/steve-1

你获奖了吗？

参考资料：https://twitter.com/tydsh/status/1705056117045526780https://twitter.com/YiMaTweets/status/1705030192996188552