2023年10月27日，2023中国计算机大会(以下简称“CNCC2023”)第三届智慧金融论坛（以下简称“论坛”）在沈阳圆满举办。论坛由CCF高级会员、CCF大专委执委，中国科学院计算技术研究所副研究员敖翔担任论坛主席，九坤信息科技有限公司首席科学家曹政担任共同主席。论坛以“AI大模型驱动的金融创新”为主题，作为大会130个技术论坛之一，有超过200位来自科研院所、高校和企业的观众齐聚现场，共同交流。

澜舟科技创始人&CEO周明在该论坛就《大模型技术在金融场景中的应用挑战》议题展开分享与交流，介绍了金融大模型的进展以及孟子金融大模型的实践经历，归纳了目前金融大模型面临的挑战，提出了从基座大模型到行业大模型到场景业务模型再到AI Agents的实践路径，并探讨了未来的发展方向。（图为周明演讲实况）以下是演讲内容整理：
首先，我非常感谢主办方组织了这一场关于“AI大模型驱动的金融创新”主题的论坛，澜舟科技基于孟子通用大模型布局行业大模型的路线上，第一个走的行业就是金融。所以希望趁此机会可以和在座的专家们一起探索怎么样可以把金融大模型做好。
大模型在金融行业的应用前景广阔，众多大模型企业、高校以及金融企业纷纷发布自己的大模型。今年3月份，金融领域首个公开发表文章的大模型BloombergGPT就受到了广泛关注。7月份，澜舟科技上线了孟子GPT-7B金融行业大模型体验版，10月份，孟子GPT-13B金融行业大模型开始接受金融客户测试落地。目前，我们正在训练40B参数规模的模型，以满足不同客户业务场景的需求。9月份，中国人工智能产业发展联盟发布了国内首个金融行业大模型评估标准——《面向行业的大规模预训练模型技术的应用评估方法 第1部分：金融大模型》，该标准从场景丰富度、能力支持度、应用程度三大方面为金融行业大模型提供了参考和指导，有助于推动金融行业的智能化升级和数字化转型。回归业务，大模型真正充分落地资管行业目前来说是比较困难，大部分企业都是浅尝辄止，那金融大模型在落地过程主要面临哪些问题？我总结为以下几个方面：

• 业务场景落地：现阶段大模型的应用距离实际业务尚有距离；
• 基础设施挑战：如何妥善处理模型参数规模与计算能力的关系，实现推理过程的加速，以满足金融领域大模型的发展需求；
• 时效性要求强：金融数据的更新、增长和变化迅速，具有强烈的实时性和时效性，因此需要模型与外部数据有强大的交互能力；
• 模型幻觉问题：在严格的监管环境下，如何确保金融大模型在任何场景下都能提供合规、可信、安全和稳定的结果输出；
• 数据私域性高：企业、机构和个人的数据通常存储在私域中，这使得基础模型难以获取并学习这些数据。

结合我此前所述，金融场景中大模型落地的选择非常丰富，但落地过程阻碍众多，那大模型企业该从何处入手？我们应优先选择那些需要深度理解与创造性思维的智力密集型场景。通过人机协同的方式，大模型可以以助手的角色出现，帮助业务人员提升他们的工作效率和质量。之后，可以渐进式触及银行的核心业务，如风险管理、资本管理和监管科技等关键领域。基于这些思考，澜舟科技在面向企业落地大模型的过程中，逐渐形成了独特的L1-L2-L3-L4闭环服务体系，包括L1-通用大模型、L2-行业大模型、L3-场景服务模型、L4-AI Agents 四层服务。面向金融领域，澜舟科技推出孟子GPT-7B、孟子GPT-13B、孟子GPT-40B等不同参数规模的金融行业大模型，基于孟子通用大模型底座，整合行业专业的领域知识，加以高效的模型优化算法微调，深入理解金融应用场景进行训练，在行业任务上表现更优。实际上对企业来说，在金融领域的业务中，大模型只是工具之一，而真正起到作用的是AI agents，金融人员只需要关注自己想实现什么目标，然后由AI agents去分解任务，调用相应的小模型或API来完成每个小任务，最后生成建议或预测等等，以“请帮我生成澜舟科技2023年第一季度的业绩点评报告”为例来看。因此，我认为AI Agents 的出现是大模型落地的必然趋势，具有非常大的意义。
至此，对大模型企业来说，金融大模型应用落地路径应该如何选择？我总结了几个步骤：

• 场景目标选择：在评估公司业务需求时，优先选取最快看到效果，且成本可控、风险较低的1~2个场景；
• 收集和整理数据：构建模型微调数据集和测试数据集，包括通用数据、行业数据、企业私有数据三类，以确保数据的完整性和准确性；
• 选择合适的模型：根据业务需求和数据类型，选择合适的模型，考虑通用/金融大模型以及模型参数大小等因素，同时还要考虑开源还是闭源的问题；
• 模型评估、部署：结合业务目标构建评估标准、评估数据集，对模型进行评估和优化，最后将模型部署到业务系统中，实现推理加速；
• 业务效果监控和优化：实时监控实际业务效果，收集反馈数据，并基于反馈数据对大模型进行持续优化，以提高模型能力；
• 大模型能力扩展：在更多的业务应用中推广大模型技术，建立分层分类的模型体系，推动大模型技术和应用的平台化建设；

最后，我认为之后金融行业的大模型将持续学习并增强模型的鲁棒性，结合工程手段，确保其能够提供可信、安全和稳定的输出结果。同时，为了提高组合式大模型的能力，不能仅依赖单一的大模型，而需要多层次、分级分类的模型来实现大模型应用的落地。未来，AI agents、大模型和传统模型将共存，大模型凭借其强大的语义理解能力可以作为中控，调用传统模型作为其技能。
我的演讲到此结束，谢谢大家。
｜查看更多论坛演讲可点击“阅读原文”

孟子大模型是由澜舟科技研发，面向生成场景的可控大语言模型，能够通过多轮的方式帮助用户完成特定场景中的多种工作任务。

体验网址：https://www.langboat.com/portal/mengzi-gpt

澜舟智会是一款基于孟子大模型面向企业用户的端到端会议内容分析平台产品，可以对用户上传的会议音频和视频进行文字转录和深度智能分析。

体验网址：https://www.langboat.com/portal/minutes

”

澜舟科技官方网站

https://langboat.com

获奖与新闻

澜舟科技加入中国信通院可信开源大模型产业推进方阵

澜舟科技成功举办孟子大模型系列及澜舟智会产品发布会

澜舟科技完成Pre-A+轮融资

HICOOL 2021 创业大赛一等奖 | 周明博士专访

最新合作携手新华智云 | 携手潞晨科技携手华夏基金 | 携手同花顺携手中文在线 | 携手数说故事 

技术专栏一览

辅助创作引擎 | 搜索引擎技术

自动摘要生成 | 机器翻译技术

孟子模型开源 | 孟子技术解读

认知智能平台 | 熊猫小说家

长期招贤纳士（含实习）

工程岗  |  研究算法岗  |  产品岗

孟子开源社区微信群

开源项目地址

https://s.langboat.com/mengzi

期待您的关注与加入 :)