大模型测试平台、工具、方法与标准

11月25日9:00-12:00，在DataFunCon 2023(深圳站)线下大会的【DEEPNOVA大模型论坛】上，我们邀请了来自滴普科技、360、BentoML 的几位行业专家，为我们分享大模型的构建、部署、训练优化，以及大模型“幻觉”等前沿问题与行业应用实践。

说明：大会当天还有其余10个平行付费论坛，包括：

AI方向：DEEPNOVA大模型论坛、推荐系统变革论坛、AIGC与智能交互论坛、AB实验应用与发展论坛、AIGC与业务提效论坛、数智金融效能建设论坛。

大数据方向：极致效能OLAP论坛、新一代数据架构论坛、云原生大数据迭代论坛、数据治理发展趋势论坛、数据产品设计实践论坛。

欢迎感兴趣的小伙伴，扫码报名，获取免费门票👇（25号早上签到，可赠送当天10个付费平行论坛的免费门票）

（赠票数量有限，先到先得）

论坛看点

🔥使用OpenLLM构建和部署大模型应用
🔥大语言模型优化技术与方法实践🔥知识图谱如何解决大模型幻觉问题？

活动地点

活动议程

议题详情与嘉宾介绍

🔥演讲题目：领域模型生产指南👨‍💻演讲嘉宾：陈峰 滴普科技 Senior Research Fellow

滴普科技高级研究员，《ClickHouse性能之巅》作者。数据智能领域资深架构师，曾主导OPPO智能缺陷识别、威视智能瞳孔检测、百丽丽影等多个数据智能项目技术架构的设计工作，有丰富的大模型落地经验。目前着眼于大模型在不同领域上的工程化落地。

📕演讲提纲：

1. 领域模型的难点

（1）领域模型和通用大模型的异同点

（2）领域模型的三大难点及其详细说明

2. 领域模型的训练方法论

（1）针对上诉难点的各种方法论

🍎听众收益：

1. 了解领域模型与通用模型的不同,

2. 了解领域模型存在的几大难点

3. 如何应对这三大难点的多种可行方法论

🔥演讲题目：使用 OpenLLM 构建和部署大模型应用👨‍💻演讲嘉宾：明希 BentoML 高级软件工程师BentoML 全栈工程师，Python 玩家，开源爱好者。负责 BentoML 项目的开发。著名 Python 包管理器 PDM 作者。📕演讲提纲：

1.大模型应用部署的挑战

2.使用OpenLLM 快速启动一个大模型的应用

（1）通过 OpenLLM 调用大语言模型

（2）通过OpenLLM启动一个HTTP server

（3）使用命令行进行模型推理

（4）使用Python Client与应用交互

（5）OpenLLM 与 langchain的集成

（6）模型推理性能的优化

3.使用 BentoML 工具构建并部署大模型应用

（1）BentoML 简介

（2）构建一个bento

（3）将Bento部署到bentocloud

🍎听众收益：

1. 如何使用常见的LLM快速启动一个应用

2. LLM应用性能优化的方法

3. BentoML 框架的安装与使用方法

🔥演讲题目：大语言模型优化：Fine-Tuning 技术与方法实践👩‍💻演讲嘉宾：黄月红 滴普科技 语言模型研究员

滴普科技语言模型研究员，“CHAOS万有引力”公众号作者，发表过多篇国际会议和sci论文，五年深度模型开发经验。主要研究方向为大语言模型，机器视觉，有丰富的模型开发优化经验，同时在因果推断，推荐系统，知识图谱等领域也有一定兴趣和开发经验。

📕演讲提纲：

1. Fine-Tuning 大语言模型的必要性分析

（1）什么样的情况下需要 fine-tuning 大语言模型

（2）fine-tuning 大语言模型需要准备些什么

2. fine-tuning 算法介绍

（1）一般过程及原理

（2）模型量化

（3）qlora

（4）Neftune

3. 测试自己的大语言模型

（1）各种测试平台，工具，方法，标准介绍

（2）定义自己的测试指标和方式

🍎听众收益：

1. 了解如何 fine-tuning 大语言模型

2. 了解 fine-tuning 的方法和策略

3. 了解 fine-tuning 大语言模型评估方法

🔥演讲题目：大模型幻觉的起因、评估及落地场景下基于知识图谱的缓解策略探索👨‍💻演讲嘉宾：刘焕勇 360人工智能研究院 算法专家

360人工智能研究院算法专家、知识图谱方向负责人、360智脑项目组核心成员，“老刘说NLP”公众号作者，曾就职于中国科学院软件研究所。主要研究方向为大模型数据挖掘与自动化评估、领域知识/事件图谱的构建与落地应用，主持或参与研制全行业事理图谱、百科图谱、知识图谱平台、事件情报分析、右侧推荐、大模型研发等落地项目，申请发明专利十余项、论文数篇。近年来在OGB-Wikikg2、CCKS多模态实体对齐、可解释类案匹配等评测中获得多项冠亚军。致力于自然语言处理技术开源共享，在github开源项目60+，收获star数超2W+。

📕演讲提纲：

幻觉问题是制约大模型在某容错性较低场景的拦路虎。而幻觉问题本身来源于多个方面，包括数据、训练方式以及解码策略等。本报告将围绕大模型幻觉的起因、如何评估、在真实落地场景下如何结合外部知识图谱进行缓解等几个方面进行介绍。

🍎听众收益：

1. 什么是大模型幻觉，幻觉是好是坏？

2. 为什么会出现幻觉，又如何评价幻觉？

3. 幻觉在落地场景中如何用知识图谱加以缓解？外挂 or 受控生成 or 其他？

赠票数量有限，先到先得

欢迎感兴趣的小伙伴扫码报名

免费获取门票👇

25号上午前50名签到，可免费领取实体书1本～

点击“阅读原文”报名预约现场坐席👇