支持创建永久有效API-KEY，ERNIE-3.5-8K V2推理接口开放ChatFilePlus插
大模型开发/技术交流
- LLM
6月24日1046看过
新的一年来到，千帆ModelBuilder也在不断的持续更新迭代，1月10日进行了V1.5.7.2小版本的产品升级，此次升级主要聚焦在模型服务以及工具链相关，皆在提升用户在模型开发的效率，以及更灵活的使用方式；以下为本次升级的具体内容：
登录百度智能云千帆ModelBuilder平台同步进行文字和功能的体验效果更佳，平台网址：https://qianfan.cloud.baidu.com/modelbuilder?track=cptg
模型服务升级
-
IAM上线API-KEY功能，千帆modelbuilder已经完成对接，用户从1月10日起，可以直接在千帆控制台上创建永久有效的API-KEY。用户可参考：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Um2wxbaps
-
从bos导入部署与精调后部署的图像理解模型支持创建v2接口协议服务。
-
ERNIE-3.5-8k V2推理接口开放ChatFilePlus插件调用。支持接口上传文档、网页，对其中的内容做摘要、分析、整理等任务。详情请参考：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/sm5uokrb3
-
支持V2协议推理日志投递至BLS。支持V2协议推理日志索引及日志分析。
创建v2协议推理服务接口时支持设置流控策略为qp2s或qp10s，本次新增的策略，适用于部分模型秒级流量不均匀的场景，通过引入队列机制、增大限流窗口来平滑流量毛刺，提升资源利用率，但有概率导致响应时间变长。
工具链升级
-
SFT中新增ChatGLM4-9B模型，并支持全量更新&LoRA训练方法。在语义、数学、推理、代码等多方面的数据集测评中，均表现出较高的性能。
-
新增文本创作字数控制V2样板：在文本创作字数控制场景中，经过RLHF训练后的大模型，可以更好的根据设定的字数要求，生成精准且符合主题的内容。
-
新增支持从对象存储BOS导入数据集做模型评估，对话格式支持Prompt+Response、Prompt+多Response。
-
模型精调目录整合，您可直接创建或对比不同精调方式，根据自身需求选择最优训练路径。
评论
