Kimi智能助手支持200万字无损上下文，月之暗面大模型长文本新突破

3 月 18 日，月之暗面（Moonshot AI）宣布在大模型长上下文窗口技术上取得新的突破，Kimi 智能助手已支持 200 万字超长无损上下文。

即日开启产品「内测」，感兴趣的用户可以直接在官网 kimi.ai 申请抢先体验。

不到半年时间，月之暗面将 Kimi 智能助手的无损上下文长度提升了一个数量级，从 20 万字到 200 万字。

Kimi 助手在 2023 年 10 月发布时支持约 20 万汉字无损上下文输入，创造了消费级 AI 产品所支持的上下文输入长度纪录。在开放服务后，借助长文本的能力，用户解锁了很多新的 AI 场景：专业学术论文的翻译和理解、辅助分析法律问题、一次性整理几十张发票、快速理解 API 开发文档等。

Kimi 智能助手在春节后也实现了快速的用户增长，目前已经上线 Web 端、iOS 和 Android 应用、小程序版本。

文章转自月之暗面官方稿件，Founder Park 有所增删。

01

10 分钟，Kimi 就可以成为一个领域专家

有了支持 200 万字无损上下文的 Kimi，快速学习任何一个新领域都会变得更加轻松。

过去要 10000 小时才能成为专家的领域，现在只需要 10 分钟，Kimi 就能接近任何一个新领域的初级专家水平。用户可以跟 Kimi 探讨这个领域的问题，让 Kimi 帮助自己练习专业技能，或者启发新的想法。

月之暗面展示了一些超长无损上下文的使用场景示例。

用户上传几十万字的经典德州扑克长篇教程后，让 Kimi 扮演德扑专家为自己提供出牌策略的指导。

上传一份完整的近百万字中医诊疗手册，让 Kimi 针对的用户问题给出诊疗建议。

上传一个代码仓库里的源代码，可以询问 Kimi 关于代码库的所有细节，即便是毫无注释的陈年老代码也能帮助你快速梳理出代码的结构。

上传英伟达过去几年的完整财报，让 Kimi 成为英伟达财务研究专家，帮用户分析总结英伟达历史上的重要发展节点。

从长篇小说、故事或剧本中，重新发现值得玩味的蛛丝马迹，进行深层细节的挖掘，是很多影视娱乐 IP 的爱好者热衷的事情。如果将甄嬛传全集几十万字的剧本传给 Kimi，然后提问剧本中有哪些细节表明甄嬛的孩子是果郡王的。Kimi 能在不同时间段、各个场景的故事情节中，深入挖掘甄嬛、果郡王的情感线以及和他们孩子的真相，堪比一个看了好几十遍电视剧的「甄」学家。

02

200 万字的想象力还有哪些？

从很多 Kimi 智能助手用户的反馈来看，20 万字的无损长上下文帮助他们打开了新的 AI 应用世界，带来了更大的价值，但随着他们尝试更复杂的任务、解读更长的文档，依然会遇到对话长度超出限制的情况。这也是大模型产品的无损上下文长度需要继续提升的一个直接原因。

从 20 万字到 200 万字。由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能，月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走「滑动窗口」、「降采样」等技术捷径，攻克了很多底层技术难点，才取得了新的突破。

超长的无损上下文能力，会让 Kimi 助手的智能搜索和指令循环能力得到进一步提升。

Kimi 智能助手的智能搜索，离不开大模型的无损长上下文能力。Kimi 主动搜索得到的多篇资料，会作为上下文的一部分交给模型去推理。正是因为 Kimi 大模型支持的上下文窗口足够长，窗口内的信息损失足够低，Kimi 智能助手才能输出高质量的结果，为用户带来截然不同的搜索体验——Kimi 可以根据用户的问题，主动去互联网上搜索、分析和总结最相关的多个页面，生成更直接、更准确的答案。

另一项与大模型的无损上下文能力息息相关的指标是指令遵循（Instruction Following）能力。指令遵循能力主要体现在两个方面：

第一，模型在多轮对话中是否能够始终遵循用户的指令，理解用户的需求；

第二，模型是否能够遵循复杂指令，有时候复杂指令可能长达几千、上万字。从产品推出以来的用户反馈来看，Kimi 智能助手的多轮交互和超长指令遵循能力，也同样具备显著优势。

「我们相信，大模型无损上下文长度的数量级提升，也会进一步帮助大家打开对 AI 应用场景的想象力，包括完整代码库的分析理解、可以自主帮我们完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。」月之暗面工程副总裁许欣然在媒体沟通会上表示。

「无论是内存、算力还是网络带宽，历史上每一次基础技术的升级，都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。」

如果你关注大模型领域，欢迎扫码加入我们的大模型交流群，来一起探讨大模型时代的共识和认知，跟上大模型时代的这股浪潮。

更多阅读

2024 年，中国的投资人们如何投 AI？

月之暗面杨植麟专访：AI不是接下来一两年找到PMF，而是接下来十到二十年如何改变世界

月之暗面杨植麟：大模型需要新的组织范式，场景摩尔定律能催生 Super App

转载原创文章请添加微信：geekparker