• 投稿

【浙江大学-大模型原理与技术】4-0 参数高效微调简介

1.3万
20
2025-01-18 17:12:30
196
140
254
51
本章是浙江大学《大模型原理与技术》视频课程的第四章,主要对经典的参数高效微调方法进行讲解。我们将参数高效微调方法归为三类:1. 参数附加方法(包括Prompt-tuning,Adapter-tuning,Proxy-tuning等);2. 参数选择方法(包括BitFit,Child-tuning等);3. 低秩适配方法(主要包括LoRA及其变体)。我们将在前三节对三类方法分别展开介绍,然后在第四节介绍参数高效微调技术的常见应用场景。 本课程是2024学年冬学期我在浙江大学软件学院讲授的对应课程的实录,第一次录制课程,内容还很粗糙,里面还有一些口误或错误,恳请大家批评指正,我们也会根据大家的建议发布勘误表。本课程的内容基于浙江大学的开源教材《大模型基础》,大家可以从Github链接 https://github.com/ZJU-LLMs/Foundations-of-LLMs 上进行下载。
浙江大学软件学院百人计划研究员,博士生导师,专注大模型教学、科研与科普
58.2万播放
简介
第一章
第二章
第三章
第四章
第五章
第六章
4-0 参数高效微调简介
22:42
4-1 参数附加方法 Prompt-tuning,Adapter-tuning,Proxy-tuning等
24:50
4-2 参数选择方法 BitFit,Child-tuning等
06:28
4-3 低秩适配方法 LoRA及其变体
32:05
4-4 参数高效微调的应用
07:54
客服
顶部
赛事库 课堂 2021拜年纪