小扎砸数百亿美元猛攻开源AGI！狂掷60万块H100，爆50倍GPT-4算力

  新智元报道  

编辑：桃子 好困

【新智元导读】今天，小扎正式宣战「开源AGI」！下一代大模型Llama 3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。

自Llama2、Code Llama发布后，许久未现身的小扎今天正式官宣：全力搞「开源AGI」！短短1分45秒视频中，小扎对Meta的战略升级进行了分享，从AGI构建，到团队合作，再到基础设施的等一系列举措。接下来，划重点！！！从现在起，人工智能实验室FAIR团队将纳入「GenAI」，紧密合作重点构建AGI，并全面开源。目前，Meta内部正在训练下一代模型Llama 3。截止年底，将会有近35万块H100搭建的基础设施。网友无法想象，Llama 3那得有多大！Omdia研究数据显示，Meta在2023年H100的出货量为15万块，与微软持平，且是其他公司出货量的3倍。小扎称，「如果算上英伟达A100和其他AI芯片，到2024年底，Meta将拥有近60万个GPU等效算力」。此外，小扎的「元宇宙」信仰还没有放弃。他提到，AI最终会与智能设备结合，比如Ray-ban智能眼镜。

30倍GPT-4算力，接近GPT-5水平

在小扎自曝Meta算力之后，Pytorch创始人Soumith Chintala表示，终于可以公开谈论GPU数据了。到今年年底，Meta将拥有60块H100等效GPU。他还在此卖关子，让大家自由猜测，Meta已经部署和正在使用的GPU。CAIS的负责人惊叹道， 35万块H100，这比GPT-4的计算能力高出约30倍，几乎达到了GPT-5的水平。还有人给Meta算了一笔账，「每台H100的成本约为3万美元，这意味着小扎的公司仅购买算力就需要支付约105亿美元，更不用说电费了」。而这仅仅是为了训练Llama 3？另外，有网友预计150-200亿美元的算力训练为推荐系统服务的Llama 3。图灵奖巨头Yann LeCun更是有感而发，今天连发了多条推文。FAIR的使命是开发人类水平的AI助手：是一个能够理解世界、感知、记忆、推理、计划和行动系统。在不远的将来，我们与数字世界的所有互动，都将由AI助手通过智能眼镜和其他设备来实现。我们需要这些系统具备人类水平的智能，这样它们才能理解世界、人和工具，从而在日常生活中帮助我们。为了加快进度，FAIR现已成为人工智能产品部门GenAI的姊妹机构。与此同时，Meta正在建设大规模的计算基础设施，以支持人工智能的研究、开发和生产。当然，我们也致力于开放研究和开源人工智能平台（是的，Llama 3就要来了！）。FAIR是世界上将AI研究推进到新水平的最佳研究机构，而Meta则是将AI应推向数十亿人群的最佳公司。没有开源AI，就没有AI创业生态系统。Meta一直尝试去做正确的事情。Meta一直在AI领域进行开放研究。Meta一直在推广开源AI平台。经过过去一年的多次讨论（有时是有争议的），一个共识正在形成，即开源人工智能平台是不可避免的、必要的，而且是一件好事。

小扎：全员打造「开源AGI」

最近，Sam Altman在参加的世界经济论坛中透露，人类水平的AGI即将到来，而且GPT-5正在训练中。2023年，人工智能领域成为OpenAI微软的主战场，GPT-4、Copilot等一系列模型/产品发布，让许多大厂望之莫及。谷歌、Meta、苹果等科技巨头在AI推陈出新上，已经站在了第二梯队。凌晨，小扎一则视频正式官宣，意味着Meta全员已经重振旗鼓，向全力打造开源AGI迈进。在Ins视频配文中，小扎写道，我们的长期愿景是构建AGI，负责任地将其开源，并使其广泛可用，让每个人都能从中受益。为了支持这一目标，我们正在将两大AI研究团队——FAIR和GenAI紧密结合在一起。Meta目前正在训练下一代模型Llama 3，并建设大规模的计算基础设施，以支撑未来路线图，其中包括到今年年底建成35万块H100，如果算上其他GPU，Meta总算力相当于近60万个H100。此外，我们在构建以AI为中心的新型计算设备（如Ray Ban Meta智能眼镜）方面取得的进展也让人非常兴奋。

Llama 3匹敌GPT-4，免费开源

关于Meta下一代模型的消息，此前也有传言称，Llama 3的实力堪比GPT-4，而且还是免费开源。OpenAI工程师、前谷歌大脑工程师Jason Wei去年8约在Meta组织的Generative AI Group活动中听说：Meta有足够的算力来训练Llama 3和Llama 4。Llama 3计划达到GPT-4的性能水平，但仍将免费提供这次也算是，Meta正式官宣Llama 3训练中，而且LeCun也表示最新模型很快就会上线。从2023年2月，Llama 1首次面世，到7约Llama 2的升级，Meta花了大约5个月的时间。当时，Llama 2在某些应用上与GPT-3.5能力相媲美，而且还通过微调，额外功能让开源社区进行优化。Llama模型开源后所带来的是，模型生态大爆发。据Meta统计数据显示，在世界最大开源社区平台Hugging Face上，Llama模型的下载量超过3000万次。其中，仅在过去30天（9月份）内就超过了1000万次。另外，发布在Hugging Face的Llama版微调模型，已经多达7000+个。而现在，得知Llama 3在训练中，AI圈的人兴奋不已。

AI团队重组：成立10年FAIR团队+GenAI

除了将重点放在开发AGI之外，Meta官宣最引人注目的消息就是：小扎决定将其人工智能研究团队FAIR纳入产品部门。根据Verge的独家采访，成立10年FAIR团队，将并入GenAI团队。虽然小扎在视频并未说明，只是透露了两个团队将紧密合作。Meta此举与谷歌合并两大AI团队，别无二致。OpenAI微软在AI圈名气大涨让谷歌瞬间火烧眉毛，去年4月官宣合并DeepMind和谷歌大脑团队，统称为Google DeepMind。2013年12月，在LeCun主导下，Fcabook成立了FAIR人工智能实验室。从成立之初，FAIR的定位便是一个负责研究技术的部门，其研究重点也大多聚焦在解决推理、预测、规划、无监督学习等底层技术问题上。过去几年来，在这个实验室中人才辈出，何恺明、SVM的缔造者Vladimir Vapnik、提出随机梯度下降法的Léon Bottou等AI领域的学者和专家。与此同时，研究成果也是「世界级」AI，包括轻量化和模块化的深度学习框架Caffe2、PyTorch架构等等。而现在，Meta内部需要战略调整，全力奔赴AGI。说来，GenAI这一团队的成立并未官宣。第一次露面还是在Llama 2发布时，在论文中所有作者下面一行中出现。

GenAI首次以团队名称出现未来，FAIR的副总裁Joelle Pineau和首席AI科学家Yann LeCun将向Meta的首席产品官Chris Cox汇报工作。而在此之前，他们是向负责Reality Labs的首席技术官Andrew ‘Boz’ Bosworth汇报。对此，Cox表示，这一调整强调了AI研究对Meta及其产品长远成功的核心作用。「通过FAIR和GenAI更加紧密的合作，我们可以拥有一个更加统一的AI研究项目和发展蓝图。其中，Llama将成为我们迈向AGI的主力，同时我们也将简化新技术或创新AI研究的开发流程，确保在一个日益受到关注的领域中，能够在法律、政策和品牌形象方面保持一致。」

专访小扎

问：你将FAIR从Boz所负责的部门转移到了Chris所负责的部门。这对Reality Labs有何影响？我觉得有些人可能会认为RL将会失去它。小扎：这绝对不是我的看法。让我详细说明这个决定是如何形成的：这其实是Boz的建议。在讨论如何统一研究规划和流程时，Chris、Boz和我进行了交谈。Boz表示他在AI方面投入了大量时间。但他认为，与其让这些问题不断上报给Chris和Boz，不如让他们直接参与协调工作。因此，他建议将FAIR移至Chris那里。在以前的模式下，FAIR相对独立地运作，尽管它属于Boz负责的部门，但我不确定他们是否真的认为自己是Reality Labs的一部分。我们总是将AI工作和Reality Labs的工作视为两个不同的领域。Reality Labs可以作为一个独立的组织独立运作，而AI则渗透到公司的各个方面。这并不意味着所有的工作以前都集中在一个地方，或者现在都会集中在一个地方。这次调整更具体地说，是将我们的两个主要研究实验室并置，以便我们能在这些长期研究领域取得更多进展。在Reality Labs以前的模式中，我不认为FAIR的负责人们会参加Boz的员工会议，它们更像是被作为独立项目来管理。我认为这次组织内部的调整并不会带来太大的不同感。而且，鉴于AI对公司的重要性，Boz无论如何都会在这方面投入大量时间，Reality Labs也将继续涵盖很多AI相关的项目。问：你是否注意到，随着生成式AI的兴起，你的个人关注点也随之转移了？相对于Reality Labs，你是不是发现自己在AI方面投入了更多时间，还是说这种投入每周都在变化？小扎：这不仅仅是两者之间的选择问题。在2023年，最耗费我时间的是关注如何提高效率，我们改变了公司的运作方式，使其更加高效精炼。这并不意味着我们会回到过去的状态。但我觉得我们已经建立了一套新的操作规范，现在可以比较顺利地继续进行。这需要一定的工作量，但可能只有去年我在这方面投入的时间的十分之一。对于今年而言，这部分工作减少了，这使得我有更多的时间来专注于产品开发。至于其他需要关注的事项，今年将是一个全球范围内重要的选举年。显然，包括美国在内的选举，但我认为，从历史角度来看，今年可能是全球选举最密集的一年。我认为确保我们在所有的诚信维护工作上做得出色也同样重要。因此，这方面今年会比以前更受关注。身处一种模式中颇为有趣，不是在削减事务，而是我们又可以专注于创造新的东西。这是一种令人愉悦的状态。参考资料：

https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview

https://www.theverge.com/2024/1/18/24043547/inside-meta-ai-reorg-mark-zuckerberg