“千帆杯”第二期十万大奖花落谁家？TOP10名单出炉！
大模型开发/技术交流
- 千帆杯挑战赛
3月7日5767看过
春节档“最强贺岁文案专家”
千帆杯AI原生应用开发挑战赛第二期赛题“贺岁灵感模型”已于2月28日圆满结束。经过严格的自动评估和人工复审后，现已决出TOP10选手！
第二期赛题，结合新春佳节的背景以“贺岁灵感模型”为主题，鼓励开发者使用千帆ModelBuilder，基于ERNIE Speed模型打造一个春节文案创作的精调模型，在通过对模型精调使其保持原有能力的同时，还能准确理解和执行文案创作，帮助用户成为春节档“最强贺岁文案专家”。
本期赛题主要通过千帆ModelBuilder工具链中“模型评估”的部分能力以及人工评估做整体评审，全方位保证评审结果的公平、公正、公开。
>>第一轮：自动评估（满分1分）
以“内容分”和“字数控制分”为主要考核指标，两项标准分别占据0.6、0.4的权重，通过加权平均后，得出“选手模型”的作品分数。
-
内容分（占据0.6权重）：官方输入包含内容及字数要求的评测数据集，以ERNIE Bot 4.0作为裁判，如果“选手模型”答案比数据集答案更好则得分，反之则不得分。如果ERNIE Bot 4.0没有明确返回评测数据集答案更好，均算作“选手模型”得分。
-
字数控制分（占据0.4权重）：基于官方评测数据集的字数要求，根据“选手模型”的全量回答综合得出最终字数控制评分。
-
具体规则：根据“选手模型”答案字数与评测数据集中字数要求的diff进行分段打分，具体分段分数如下：
-
diff ≤ 0.05，得1分
-
0.05 < diff ≤ 0.1，得0.9分
-
0.1 < diff ≤ 0.15，得0.8分
-
0.15 < diff ≤ 0.2，等0.7分
-
0.2 < diff ≤ 0.25，得0.6分
-
其余则不得分
举例：如评测数据要求为300字，选手模型返回290字，则diff为：（300-290）/300=0.033，最终得分因0.033 ≤ 0.05，因此在该评测数据下字数控制得1分。
>>第二轮：人工评估（满分1分）
为了保证自动评估的结果，官方针对自动评估得出的TOP 12“选手模型”安排了第二轮人工评估。（由于选手比分较为接近，因此官方对TOP 12“选手模型”进行人工评估）
人工评估由三位百度专家通过人工查验的方式进行，专家通过对参赛选手所提供的模型微调方案进行投票（一位专家最多可投3票），如选手获得三票，即获得满分。
“千帆杯”第二期「最强挑战者」出炉
第二期最强挑战者张辉，带来作品“贺岁灵感模型”，张辉使用ModelBuilder的模型SFT精调工具链，基于ERNIE Speed基座模型，精调训练出了一个能准确控制创作字数的春节贺岁文案模型。
ERNIE Speed模型作为百度在2024年最新发布的自研高性能大语言模型，凭借其轻量级、高效的自然语言处理等特点，可以快速地响应用户需求。同时，其在微调场景下优势显著，模型的训练时间更短，成本更低，特定场景下的效果可媲美ERNIE Bot 4.0。
自2月发布上线以来，目前已有超过150家企业采用了ERNIE Speed模型，它除了能做到快速响应外，作为基础通用大模型，在阅读理解、close-book问答、创作与续写等复杂任务上，也能达到甚至超越千亿大模型的效果。每一位开发者，都可以在ERNIE Speed的助力下，快速实现企业级的专属模型训练，探索AI大模型的无限可能。
更多AI的想象值得期待
3月21日，百度智能云将在北京举行AI Cloud Day：百度智能云千帆产品发布会。作为2024年AI领域最值得期待的系列产品发布会，诚挚邀请所有技术爱好者共襄盛举。届时，百度智能云千帆ModelBuilder和AppBuilder也将公布最新产品进展，发布系列新模型以及应用开发工具组件等，分享如何助力企业、用户释放模型创新潜能，简单高效打造AI原生应用，推动中国AI原生应用的发展，共同迈入崭新的AI生产力的最新纪元。
评论
