【FAQ】千帆大模型平台常见问题梳理 （模型微调篇）
大模型开发/互助问答
- SFT
- P-tuning
- RLHF
2023.08.2512384看过
Q: 模型训练或迭代通常有哪几种?
A: 通常有3种：Pre-trained（预训练）、Fineture（微调）、Post-traing （后训练）三种方法。
-
Pre-trained（预训练）就是谷歌百度等大厂，把模型喂了大量的各种语料训好了一个模型，模型已经拥有的基础的背景知识, 相当于模型从0到100。
-
Finetune（微调）就是在Pre-trained的模型后面加一些简单的类似全连接的神经网络，用业务数据在训练一下，学到行业内的知识, 相当于模型从100到110。
-
Post-training（后训练）就是预训练的二阶段，预训练是从零到1的搞了一个语言模型。Post-training是在预训练后的模型上，再来一波预训练，是语言模型的训练。后面的finetune是基于业务的微调。相当于模型从110到200. 所谓"注入"学习通常用这种方案。
Q: 在什么场合适合用SFT、RLHF和P-Tuning，及各自的实现过程，对数据的标注要求和格式分别是什么？
A:
-
如采用p-tuning, 则不同部门的应用在推理时都需要调用同一个大模型的能力。
-
SFT全量调参，P-tuning只调1%左右参数，是否分开部署取决于调参方式;
-
对于客户专有需求，两种调参方式的效果差不多，但P-tuning成本显著低，因此推荐客户用P-tuning方式。
-
SFT的场景泛化效果更好，若A部门应用用此方式构建，可能B部门的类似需求不需要单独训练模型便可直接应用。
-
如采用SFT, 则每次SFT会产出一个新的模型。
-
数据标注格式基本都是问答对, 细节可能会变动, 但问答结构不变. { 问, 答 }
总的来说：SFT属于全参数调优，需要的精标语料数据量较大， 至少在5000条以上，微调后的模型需要独立部署（必须托管）。Prompt tuning、LoRA适合调整部分模型参数，需要的精标语料数据量不大，通常几百条即可见效。
Q: 使用文心千帆进行微调重训，具体使用流程是什么？
A: 通常包含以下四个步骤： 上传数据集 -> 调整模型参数 -> 启动训练 -> 部署上线
Q: 千帆大模型平台Finetuning机制是怎样的？需要什么样的数据结构？
A: 可以使用私域数据或者行业数据对LLM大模型进行finetune(Post Pretrain)，或者使用有监督的问答对的数据格式进行finetune(SFT)。
私域数据纯文本结构即可，有监督问答对形式可以是prompt, completions问题对的形式。
私域数据纯文本结构即可，有监督问答对形式可以是prompt, completions问题对的形式。
-
对于finetune参数更新上，有全量参数更新以及Delta tuning的区分。针对Delta tuning有可以分为prompt tuning，lora，指定参数更新等方式。目前主要选择prompt tuning以及lora。
-
Prompt tuning新增模型参数用来表征prompt embedding，固定LLM大模型参数，只更新prompt embedding。
-
Lora通过重参数化的形式，新增两层低秩矩阵与LLM大模型的FFN层并列，只更新低秩矩阵部分的权重。
-
Delta tuning也可看做是一种parameter-efficient的tuning方法。
Q: 千帆大模型平台提供哪些模型训练方法？应该如何选择？
A: 主要包括以下几种：p-tuning: 微调, 改变极少量参数
LoRA: 微调, 改变极少量参数
SFT: 改变全量参数, 但改变较少.
Post-pretrain: 改变全量参数, 深度变化.
数据量要求: P-tuning/LoRA < SFT << Post-pretrain。
这些方法之间的一些区别是：
P-Tuning和LoRA只调整一小部分参数，而监督式微调则调整所有参数。
P-Tuning修改了输入嵌入，而LoRA修改了每层的隐藏状态。
P-Tuning和LoRA保留了预训练的模型权重，而有监督微调则更新了全部参数。
与有监督的微调相比，P-Tuning和LoRA的内存要求更低，训练吞吐量更高。
LoRA没有额外的推理延迟，而P-Tuning和有监督微调可能有。
这些方法各自优缺点是：
P-Tuning和LoRA比有监督微调更有效率,成本也更低。它们还可以避免灾难性遗忘，并且可以很容易地与原始预训练模型一起部署。
在一些需要更多适应性的任务或领域，有监督微调可以达到比P-Tuning和LoRA更高的性能。它还可以利用现有的框架和工具对大语言模型进行微调。
P-Tuning可能难以处理困难的序列标记任务或需要复杂推理的任务。它还可能由于额外的输入标记而引入额外的推理延迟。
LoRA可能需要仔细调整等级分解矩阵以达到最佳性能。由于等级分解矩阵的原因，它还可能给模型结构带来额外的复杂性。
Q: Finetune的数据进行了标注，是否只是针对特定任务领域？同一条数据，针对不同任务是不是有不同的标注？跟大模型训练那样少量数据直接无监督训练或有什么效果？
A: 大模型微调的finetune模式需要的数据标注通常是针对特定任务领域的，因为不同任务之间可能存在差异，需要不同的标注方式。同一条数据在不同任务上的标注可能会有所不同，因为每个任务都有自己的特征和要求。
与大模型预训练相比，少量数据直接无监督训练的效果可能会受到限制。预训练通常使用大量未标注的数据进行无监督学习，以便在微调时能够更好地适应特定任务。而在少量数据的情况下，模型可能无法充分学习到数据的分布和特征，从而影响微调效果。
与大模型预训练相比，少量数据直接无监督训练的效果可能会受到限制。预训练通常使用大量未标注的数据进行无监督学习，以便在微调时能够更好地适应特定任务。而在少量数据的情况下，模型可能无法充分学习到数据的分布和特征，从而影响微调效果。
Q: 千帆大模型平台不同的调参方式，分别可以调整哪些参数？
A: 通用的参数一般有batch_size, learning_rate, epochs, max_length, weight decay。特别地，对于LoRA, lora_rank参数也可调
Q: 模型训练后效果怎么优化和调整?
A: 模型训练微调的效果与数据集大小、轮次、学习率等超参数的设置是有关联的，需要不停训练-->验证，直到效果达到预期即可停止训练。关于训练轮次，开始可以使用较小的轮次，逐渐增加轮次来观察模型变化的效果。
学习率一般不建议选过大，过大会导致训练不稳定，但是过小可能会导致收敛速度过慢，效果不明显。可以从小到大的规律，观察模型效果变化。
总而言之，模型训练微调和Prompt优化是一样的，都是一个经验积累和不断实验调优的过程。更大的数据集可以提供更多的样本和多样性，有助于模型学习更好的表示和泛化能力。
学习率一般不建议选过大，过大会导致训练不稳定，但是过小可能会导致收敛速度过慢，效果不明显。可以从小到大的规律，观察模型效果变化。
总而言之，模型训练微调和Prompt优化是一样的，都是一个经验积累和不断实验调优的过程。更大的数据集可以提供更多的样本和多样性，有助于模型学习更好的表示和泛化能力。
Q: 一个用户户可以生成几个SFT后的模型?
A: 当前为5个
评论
