指令微调又称有监督微调，旨在使模型具备指令遵循 （Instruction Following）能力。

核心问题：如何构造指令数据？如何高效低成本地进行指令微调训练？如何在语言模型基础上进一步扩大上下文？

名字来源：美国的一个动画片芝麻街里的主人公

论文：https://arxiv.org/abs/1810.04805

NLP 里的迁移学习

1. 在 bert 之前：使用预训练好的模型来抽取词、句子的特征

   • 如用 word2vec 或 语言模型（当作embedding层）
   • 不更新预训练好的模型
   • 缺点
     • 需要构建新的网络来抓取新任务需要的信息
     • Word2vec 忽略了时序信息，语言模型只看了一个方向

2. bert 的动机

   • 基于微调的 NLP 模型

     前面的层不用动，改最后一层的 output layer 即可

   • 预训练的模型抽取了足够多的信息，新的任务只需要增加一个简单的输出层

BERT 架构

本质：一个砍掉解码器、只有编码器的 transformer

bert 的工作：证明了效果非常好

• 两个版本：

  Base: #blocks=12, hidden size=768, #heads=12, #parameters=110M

  Large: #blocks=24, hidden size=1024, #heads=1, #parameter=340M

• 在大规模数据上训练>3B词

大模型预训练

1 从零开始的预训练

2 在已有开源模型基础上针对特定任务进行训练

LoRa

通过化简权重矩阵，实现高效微调

将loraA与loraB相乘得到一个lora权重矩阵，将lora权重矩阵加在原始权重矩阵上，就得到了对原始网络的更新。

训练参数量减少，但微调效果基本不变。

• 两个重要参数：

  

1基础

1. 特征提取

一、CV中的特征提取

1. 传统方法（手工设计特征）

(1) 低级视觉特征：颜色、纹理、 边缘与形状…

(2) 中级语义特征：SIFT（尺度不变特征变换）、SURF（加速鲁棒特征）、LBP（局部二值模式）…

2. 深度学习方法（自动学习特征）

(1) 卷积神经网络（CNN）

• 核心思想：通过卷积层提取局部特征，池化层降低维度，全连接层进行分类。

• 经典模型：LeNet-5、AlexNet、VGGNet、ResNet(使用残差可以训练更深的网络)…

  

(2) 视觉Transformer（ViT）

• 核心思想：将图像分割为小块（patches），通过自注意力机制建模全局关系。
• 优势：无需局部卷积先验，直接建模长距离依赖; 在ImageNet等任务上超越传统CNN。

一、Transformer架构

• 基于编码器-解码器架构来处理序列对

• 跟使用注意力的seq2seq不同，Transformer是纯基于注意力

  • seq2seq

    

  • transformer