大模型讲习班丨智源研究员杨熙：FlagEval 大模型评测体系及开放平台

人工智能研究与应用范式正经历一场剧变，越来越多的顶级团队和杰出人才纷纷加入这一变革浪潮。作为AI大模型科研先锋，智源研究院携手一批卓越的学者与工程师，致力于将尖端技术与经验传授给有潜力的学习者，通过高效的学习方式，让更多人能迅速融入这一重要的历史进程，提升中国在这一领域的人才数量和质量。

大模型前沿技术讲习班第一季第四期（S01E04）将在 2023年10月28日至29日于智源大厦（北京市海淀区成府路150号）召开，本期主题聚焦于“智源FlagOpen大模型开源体系与应用”。本次讲习班将由智源研究院9位研究员担纲介绍 FlagOpen 的近期进展以及落地实践。

其中，10月28日下午15:40-17:10智源研究员杨熙将讲授《FlagEval 大模型评测体系及开放平台》。

专家介绍

杨熙，北京智源人工智能研究院技术平台智能评测组负责人。北京大学博士，中科院计算所博士后。FlagEval核心贡献者，主要研究多领域、多维度的基础模型评测方法及工具。

课程内容

模型评测是模型生产生命周期中非常重要的一环，随着近年来基础模型相关理论和技术的高速发展，但传统的评测方法和基准在基础模型评测上正面临失效的困境，因此研发面向基础模型的评测方法和工具就显得更为重要。FlagEval 大模型开源评测体系创新构建了“能力-任务-指标”三维评测框架，尝试细粒度刻画基础模型的认知能力边界。

课程提纲

1. FlagEval 项目建设背景

2. FlagEval 大语言模型评测体系

1. 大语言模型评测存在的难点

2. 评测框架介绍

3. 主流开源模型能力评测结果及解读

欢迎扫码查看更多精彩议题和了解报名详情