Day4.md

🌟Day 4: XTuner 大模型单卡低成本微调实践

1. 🌟Finetune简介：针对LLM构建下游应用

1. 增量预训练微调

   1. 扩大知识面

   2. system&input 留空

      

   3. LoRA & QLoRA

      1. LoRA模型：Adapter

         

         

• 2. 指令跟随微调

  3. 规范答题格式/指令

     

  4. 具体实施（微调阶段）

     1. 对话模板的角色指定（由微调框架实施）

        

        

     2. 微调原理

        

2. XTuner简介

3. XTuner功能：8GB显存玩转LLM

1. Flash Attention
2. DeepSpeed ZeRO

4. 🌟动手实战环节

1. 安装
   1. 环境+微调框架
2. 准备配置文件
   1. 模型名+使用算法+数据集+跑几次
3. 模型下载
4. 数据集下载
   1. 将数据转为 XTuner 的数据格式（.xlsx→ .jsonL）
   2. 划分训练集和测试集
5. 修改配置文件中的本地路径
6. 开始微调
7. 将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹（LoRA 模型文件 = Adapter）
8. 部署与测试

Reference：

手册

视频