百度智能云千帆大模型平台_公有云 V1.4.4版本更新

功能更新点如下：

​​▌模型服务升级：

• 新增模型：
  • ERNIE-4.0-Turbo-8K：百度自研的旗舰级超大规模⼤语⾔模型，2024年6月28日首次发布，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索，保障问答信息时效，模型接口文档：https://dwz.cn/7P2IOvwR
  • ERNIE AppBuilder系列模型发布的新版本，新增ERNIE-Lite-Appbuilder-8K专用版模型及预置服务，相较于ERNIE-Speed-Appbuilder模型服务性能表现更优，模型接口文档：https://dwz.cn/xQ2oF761
  • ERNIE Character系列模型发布的新版本，新增ERNIE-Character-Fiction-8K模型，支持8K上下文长度，在情节演绎和规则化文本等场景下指令遵循能力更强，模型接口文档：https://dwz.cn/pOhYcxa4
• 文心大模型ERNIE-3.5、ERNIE-4.0主线接口全量升级，模型版本从当前的0329版本升级至0613版本。最新版模型在信息处理、代码能力、知识问答、多轮会话等均有提升。模型接口文档：ERNIE-3.5(https://dwz.cn/TWh9MYxC)、ERNIE-4.0(https://dwz.cn/WLDscqS0)
• 千帆控制台核心事件接入BCT审计日志，BCT（云审计，BaiduCloudTrail）是一项云上的审计服务，通过记录用户对云资源的关键操作行为，支持对云账户进行合规性检查、操作审核和事件回溯；覆盖prompt工程、应用接入、在线服务、我的模型、模型精调、模型评估、数据集、数据处理、数据回流、计费管理、配额管理等增删改操作，满足企业合规性需求

​​▌精调工具链升级：

• SFT及DPO增加ERNIE-Character-Fiction模型，该模型在情节演绎和括号文学方面具备较强的指令遵循能力
• 精调任务对接到BCT，可在BCT中查看精调的任务和运行记录，监管账户的活动
• 新增具有字数控制能力的文本创作样板，可以解决大模型输出字数不受控制的问题，相关场景可参考精调流程调试出符合要求的大模型

​​​​▌计费模式升级：

• 预付费算力单元实例、预付费TPM配额支持升配
• 2024年6月25日-2024年7月25期间成为千帆企业新用户，可免费领取ERNIE-3.5-8K系列预置服务5000万Tokens量包
• ERNIE-Speed-128K预置服务速率限制调整为RPM=6，TPM=128000
• 基座模型是ERNIE-Speed的部署服务按tokens调用量的收费标准调整
• 模型发布失败的服务，支持用户再次购买资源重新发布，解决需要人工手动处理服务状态、耗费人力的问题
• 模型导入新增支持vLLM加速推理引擎，支持更高性能的开源模型推理，更多详细信息可查看：https://dwz.cn/WTRBD70Q
• ERNIE百亿系列模型新增支持系统记忆能力，至此千帆平台全ERNIE系列对话模型支持系统记忆能力，接口文档：https://dwz.cn/pYoilRQO
• 新增模型压缩的OpenAPI，支持用户通过API调用的方式来创建、查看、删除等模型压缩任务，接口文档：https://dwz.cn/Nd1wyBRu
• 新增ERNIE-Tiny-8K PTQ模型压缩策略，压缩后模型QPS性能提升20%~30%
• 裁判员评估中新增GSB（Good：Same：Bad）对比评估模式，满足用户需要明确区分两个模型之间的效果好坏差异的需求场景