什么是Fine-tuning?

1. Fine-tuning的概念

• • • 即模型微调, 在预训练模型的基础上, 通过少量数据, 让模型学习新的技能
    • 在大语言模型的领域, 指令学习基本等同于fine-tuning.
    • 什么是指令学习?

• • • • 大语言模型领域内的指令学习是指使用自然语言指令来引导或指导模型完成特定任务或执行特定操作的学习过程。
      • 指令学习可以减少对大量标注数据的依赖，因为指令通常包含比单独标记的示例更抽象和更全面的目标任务知识。
      • 指令学习可以提高模型的泛化能力，因为指令可以适应各种新任务，而不需要对模型进行重新训练或微调。
      • 指令学习可以提高模型的用户友好性，因为用户可以用自然语言来描述他们想要完成的任务，而不需要了解模型的内部结构或参数。

2. Fine-tuning的类别:

2.1 全参数量微调(传统的SFT)

• • • 训练过程 改写全部参数, 利于学习新知识, 但会对模型之前已有的知识造成冲击.

2.2 局部参数调整(例如P-tuning)

2.2.1 P-tuning

• • • • 仅改写一层, 训练时长得以大大缩短

2.2.2 LoRA

• • • • • 参数量较全参数微调（Fine-Tuning）显著降低，参数量和现有高效参数微调方法持平或更低。
        • 性能优于其它参数高效微调方法，和全参数微调（Fine-Tuning）基本持平甚至更高。