LeCun观点：AI仍旧道阻且长

​

LeCun观点：

目前许多 AI 研究人员和工程师很容易犯下两个错误并感到沮丧或精疲力尽：
1. 认为人工智能已经“解决”或即将解决。
2.认为自己不能贡献。
但两者都是错误的。

博客：

幕后:现在在人工智能领域工作的感觉（Behind the curtain: what it feels like to work in AI right now）

总结：

这篇文章探讨了AI背后的一些技术和实现细节，特别是在机器学习的训练和应用过程中涉及的许多问题。作者强调了数据是机器学习中最重要的组成部分，并且谈到了如何使用标准化和归一化技术来处理数据来提高性能。作者还讨论了一些优化技术，如梯度下降和超参数调整，以及如何减少模型中的过拟合现象。 最后，作者还提出了一些机器学习在不同领域中的应用案例，如图像识别、自然语言处理、机器人技术等等。

正文：

我认识的所有从事AI工作的人（无论是学术界还是工业界）都被ChatGPT时刻激发了灵感。这是AI的第一个iPhone时代。在这种环境中工作非常吃力，有很多原因，如疲劳、野心、噪音、影响者、财务利益、道德忧虑等等。

ChatGPT的火花引起了职业变化，项目被放弃，大量人士试图在这个领域创立新公司。整个行业都被集体震撼 -它为系统添加了大量能量。我们现在几乎每天都有关于模型和产品的公告。与NLP中的一位教授朋友交谈时，它已经到了这样的程度，许多成熟的研究人员都准备跳槽加入/建立公司。这不是每天都会发生的事情 – 让学者们停止想做研究是一个令人发笑的成就。一切都感觉如此泡沫。

研究生正在与风投公司竞争。从高级技术人员的角度来看，这令人惊叹。从在地面工作的工程师的角度来看，它留下了一些稳定性和小憩的欲望。看到所有的噪音使得很难让人头脑清晰，真正做好工作。

每个人都同时非常有动力和非常接近燃尽。在生成AI或聊天机器人的所有项目空间中，有一个严重的成为第一或成为最好的综合症（第三个成功的轴是开放性）。这使你保持警觉，至少可以这样说。最终，这些压力塑造了人们构建产品的方式，远离工程和文档的透彻性。最近几个月的趋势是点击次数，这带有一种令人不悦的味道。

首先，让我们退后一步，相当明确地陈述我在ChatGPT时刻之后更新的世界观。我基本上接受了两个假设为真：

大型语言模型（LLMs）是机器学习工具箱的一部分，在大多数领域中将成为常态。这与6年前我开始博士学位时深度学习的看法类似。在某些领域中，其他技术获胜，但这不会是常态。

AI安全是一个真正的问题，正在作为公共问题进入讨论。作为刚刚开始接受第一个假设的人，被立刻投入到公共部分中真的很累人。

这两个假设使得现在的速度非常有趣。我刚刚说过安全是重要的，并且我们正在使用的工具会一直存在，因此对于专注于学习和做好事情的人们来说，一场AI竞赛是多余的。竞赛动态纯粹是由资本主义的激励因素所决定的。承认这些压力并绕过它们是以更长远的时间轴进行这项工作的唯一方式。

本文是对我们现在拥有的动态的更深入的探讨，即“状态”，接着是我优先考虑的一些解决方案，即“解决方案”。

状态

目前优先排序非常困难。如果你追求成为第一，随着下一代的模型发布，目标会不断变化。需要更好和不同的需求非常强烈。对于一些已经建立起来的公司，这更加复杂，因为问题是“为什么这个发布/产品/模型不是你的？”对于拥有自由身的研究人员来说，平衡可达成、可抢占和有影响力的目标非常困难。

在最近一堆调整的Llama模型（Alpaca、Vicuna、Koala和Baize）的案例中，这种步伐的压力通常以评估为代价。所有这些模型（除了Alpaca，因为它是第一个）很快就会从叙述中消失。在Twitter上有一个病毒性的飙升，在街头上瞎扯几天，然后一切就回到了基线。这些工件并不是真正的研究成果。没有充分的评估，主张是未经审查的，并且直到它们的文档改进（我认为这会发生，不像GPT4）之前，应该被会议评论者基本忽略。

幕后，当这些发布之一发生时，肯定有许多项目被取消和转移。当激励因素受到市场的激励时，设计一个对外界变化有韧性的策略是很困难的。

使优先级排序变得困难的动态的另一个症状是，领导能力和视野越来越紧张。当AI进展缓慢时，研究人员更容易点头示意知道接下来会发生什么。现在，进展的很多方面来自于不同的媒介，因此大多数预测能力都不见了。许多公司将尝试制定计划以取悦雇员，但真的很难制定一个能够在下一次主要的开放模型发布时幸存下来的计划。跟上趋势是一种艺术，但是少数最好的能够做到的人将使他们的员工更容易优先考虑工作。从长远来看，我认为这将对一些双倍加倍作为过程重点的ML实验室的组织产生效果。那些专注于制品生产的人很容易受到更高的员工流失率和其他后果的影响。

工程团队迫切需要领导层提供这些策略，以便他们能够制定更好的策略。我发现最好的计划是那些在下一个SOTA模型出现时并不真正改变，而是被加强的计划。

虽然制定长期计划很难，但成为ML影响者现在很容易，因为这个领域有很多关注的眼睛。海报已经繁殖——人们在Twitter上发新的Arxiv论文摘要，像AK一样。我发现，我认为与主题相关的任何东西都可以很容易地成功推特。虽然这样做的很多人都是将声望误认为是追随的。在ML和技术广泛的行业中，人们因为他们的声誉而被雇用，而不是因为他们的追随者。

解决方案

我正在尝试实现的大部分事情归结为过程而不是结果导向。这一部分是一个持续进行中的工作，所以如果你有适合你的解决方案，请留下评论！

从科学方法中获得安慰可以让事情变得更容易。当你的目标是进步而不是病毒式传播时，面对可能被视为当前项目的部分揭示的不断推出的模型，就会更容易保持平衡。

为了雄心勃勃而雄心勃勃本身并不特别有趣，因为有太多显而易见的财富可以获得。如果有人决定离开研究事业来获取世代财富，我不会责怪他们。但我非常钦佩那些想留下并深入了解（并希望分享）正在发生的事情的人。我不是唯一一个每天都在尝试应对这些压力的人。我们如何平衡尽快发布最好的模型和建立最好的工程基础设施以便在3、6或9个月内建造最好的模型？我如何平衡为我的聪明而小众的受众写作，当我可以使我的文章更通用并获得更大的受众？所有这些都是未知的。

人们倾向于在他们着迷于细节并解决问题时最喜欢自己的研究工作。公开地说，随着我职业生涯中我的工作越来越面向AI，我变得越来越少流程导向。只想“成功”会缩短你的优化时间窗口。很容易被进展、炒作和声望所迷惑。你所能做的就是不断问自己，“为什么”？

为了帮助应对充足的竞争（引用泰德Lasso的话），做一个金鱼是很好的。当事情发展得如此之快时，记住有时你会浪费很多精力或被揭示。你能做的最好的事情就是接受它，继续你的过程。你不是个人在这个问题上。

对于那些个人贡献者而言，现在是管理上升的正确时机，以帮助使这些小揭示不像失败一样：向你的经理和跳级经理提出本文中提出的一些问题。如果你的公司没有计划，你的提问至少会让他们意识到，如果你被揭示，这不是完全你的错。

最后，我想记住冲浪的一个常见教训：要划很长时间才能抓住浪。这适用于现在AI的发展方式——尽管似乎许多人都在冲浪这些巨大的成功浪，但通常需要很多无聊的一致的工作（和运气）才能到那里。

​Read More