千帆杯第二期“贺岁灵感模型”解题思路分享

大模型开发/技术交流

SFT
大模型训练
千帆杯挑战赛

3月25日1457看过

大家好，我是第二期比赛获奖选手，晋宁波。很高兴和大家分享我的解题思路。

1、赛题内容

生成一个可制作贺岁文案内容的精调模型（限定使用ERNIE Speed，通过对模型精调使其保持原有能力的同时，具备准确理解并执行文案创作中创作长度相关指令的能力），第二期赛题链接。

a. 输入：包含创作长度要求的对文案创作的需求描述文本。（如：如何应对生成给领导的拜年文案；作为“I”人，如何在家庭群中发送讨长辈欢心的50字以内拜年语；如果你作为家长，如何辅助指导孩子完成“300字过年作文”的作业......）

b. 输出：严格符合长度要求且满足其他创作需要的创作内容。

2、解题思路

我对赛题的理解是，重点在于字数控制。

至于贺岁这是模型原本就具有的能力，训练时不要破坏掉就可以。

针对字数控制，我想了两个方案

判断字数：输入一段内容，让模型判断这段内容共有多少字数
多轮对话：要求模型输出指定字数的内容，然后再告诉它多了还是少了，直到生成的内容误差在5个字以内

3、方案1，计算字数

3.1 数据集展示

3.2 数据集介绍

数据集共500条

每条数据的格式都是，Prompt：请计算以下内容的字数，Response：经计算字数为：xxx

3.3 训练参数

训练方式为Lora
轮次：20
学习率：0.0002

其它参数均采用默认值

3.4 踩坑记录

第一次训练使用的全量训练的方式。

训练完成后，输入任何内容，它回答的都是，经计算字数为：xxx

4 方案2，多轮对话

4.1 数据集展示

4.2 数据集介绍

数据集共100条

数据集的核心是多轮对话，并且每次给模型反馈，多了还是少了。

希望模型通过多轮对话，掌握判断字数的能力

4.3 训练参数

训练方式为全量微调
轮次：20

其它参数均采用默认值

5、总结

最终提交的方案为，方案一

方案一，方案二，总共消费代金券150元。

原计划，要做一个方案3，将方案一和方案二结合起来，做一个更大的数据集，由于时间问题，没有完成。

能力有限，并不能判断出方案一的模型和方案二的模型，哪个更好，只是随机选了一个提交的。

十分感谢，同济子豪兄和课代表Amy一起制作的教程，我是看着教程一步步做出来的。

以上就是我本次比赛的分享内容，希望大家读完能有所收获，有没有讲明白的地方，欢迎微信或者邮箱沟通

我是一名AI爱好者，接触大模型技术还不到一年的时间，但是第一次与大模型沟通后，我就坚信AI时代到来了。

经过一年的学习和了解，这个信念更加坚定了。

很荣幸能生在这个时代，让我有机会一步步见证AI改变世界的过程，也希望我能有机会参与这个过程。

晋宁波（微信ningjingbolang，邮箱 726820352@qq.com）