如何从0到1构建自己的mini-ChatGPT？

随着ChatGPT的爆火，大语言模型(LLM)得到空前关注。根据《2023Q1就业趋势大数据报告》，大语言模型的职位同比增长172.53%，是所有行业中职位增加最多的。NLP以及智能语音领域的从业者，都在向大语言模型靠拢。

那么，从0到1构建一个自己的ChatGPT，需要哪些技能呢？总结来看，主要需要以下几点：

（1）Transformer与RLHF

Transformer是ChatGPT的底层核心架构，因此需要大家深刻了解Transformer的细节（包含Seq2Seq架构、Attention机制）；还需要掌握模型微调与优化的方法——人类反馈强化学习RLHF模型。

（2）工程技能

ChatGPT是一项工程，需要数据预处理、模型训练、调优等复杂工程能力。

深蓝学院将transformer、RLHF原理与工程实践相结合，推出了「生成式预训练语言模型：理论与实战」课程。从经典的语言模型开始讲解，逐步深入到GPT模型，详细拆解GPT的核心模块，最后带着大家实现自己的mini-ChatGPT。在讲解原理的同时，课程非常注重代码实践，从数据预处理到模型训练及调优，10个实践项目的代码实现穿插于每个算法理论之中。

深蓝学院mini-ChatGPT项目介绍

扫码咨询，了解详情

备注【1107】，优先通过！

课程导师

黄佳

新加坡科技研究局人工智能高级研究员，主攻方向为NLP大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。曾著有《零基础学机器学习》、《数据分析咖哥十话》等多部畅销书籍，深耕数据科学领域多年，积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验。

课程大纲

（点击查看大图）

课程目标

本门课程采透彻理解以ChatGPT为代表的生成式语言模型的原理以及代码实现，自主开发属于自己的ChatGPT。（1）掌握语言模型的经典与主流算法，及其发展脉络；（2）深刻理解ChatGPT的若干核心技术；（3）动手实现mini版本的ChatGPT。

学后收获

1.  你将获得现代NLP技术的关键内核和完整脉络（摒弃一切已经不需要过多了解的过时东西）

2.  你将搭建起一个属于你自己的简版ChatGPT（生成式语言模型）3.  你将掌握NLP领域编程基本功和PyTorch主要内容4.  你将掌握注意力机制和Transformer架构的核心思想以及代码实现

课程服务

1. 三师助力讲师&助教及时答疑解惑，班主任全程带班督学，帮你克服拖延，不断进步。2.定期班会助教1V1批改作业，并在班会中进行讲评和指导；在班会中，学习更多技巧；在交流中收获更多思路。

咨询更多

扫码咨询，了解详情

备注【1107】，才会通过好友哦！

​