Transformer 杀疯了

短短五年，Transformer就几乎颠覆了整个自然语言处理领域的研究范式，是划时代产品GPT的基础技术，也促进了计算机视觉、计算生物学等领域的研究进展。

这次我邀请了多位顶会大咖，做了22节最全Transformer系列课程，带你吃透理论和代码，了解未来应用，扫清学习难点。本次课程有两大亮点：

亮点一：精讲论文+代码

亮点二：详解Transformer的多方向应用

论文+代码
和
多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码，扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer”获取系列论文

Transtormer系列课程目录

阶段一：吃透论文和代码，牢牢掌握Transformer基础

1：CV-transformer 概述

2：CV-transformer VIT论文讲解

3：CV-transformer PVT论文详解

4：CV-transformer PVT代码详解

5：CV-transformer Swin Transformer论文详解

6：CV-transformer Swin Transformer代码详解

7：CV-transformer DETR 论文详解

8：CV-transformer DETR代码讲解

9：CV-transformer——VIT

10：CV-transformer——MAE

11：CV中的transformer专题MAE详解

阶段二：掌握Transformer多方向应用

1：Transformer简介和预训练语言模型应用

2：基于Vision Transformer的语义分割算法

3：Transformer在视觉任务中的应用与高效部署（10月12日20:00直播）

• ViT为的主图像分类网络

• Segformer为主的图像分割网络

• 常用轻量化方法介绍

• 以Transformer为主的视觉任务设计高效的轻量化方法

• 未来挑战与研究方向

0.01元解锁22节系列课

带你吃透理论和代码

Transtormer系列论文

另外我还整理了Sebastian Raschka发布的包含Transformer的机制来源、预训练范式、人类反馈强化学习等诸多里程碑式的20+篇论文，带你从「Transformer的前世」速通到大模型。

论文目录：（因篇幅有限，仅展示前十篇）

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer”获取系列论文

带你从「Transformer的前世」速通到大模型