数据管理

• 自动标注

• 数据清洗和增强
  • 支持去重、去近似等保证数据质量
  • 当在实践中无法收集到数目庞大的高质量数据时，可以通过数据增强策略，对数据本身进行一定程度的扰动和扩充，从而产生“新”数据。

模型训练

• 支持多种训练模式
  • ERNIE-Bot-turbo大模型支持SFT训练。
  • BLOOMZ-7B第三方大模型可支持P - Tuning、SFT、LoRA、RLHF等不同训练方式。
  • 支持调整学习率、迭代轮次等训练参数。

模型管理

• 预置模型
  • 预置百度文心ERNIE-Bot、高性能版ERNIE-Bot-turbo, 以及BLOOMZ-7B等大语言模型。
  • 支持用户训练产出大模型版本管理。
  • 高效管理大模型迭代版本信息，方便追溯和应用部署。
• 模型评估
  • 开放BLOOMZ-7B大模型自动评估能力，支持通过文本相似度或准确性规则,自动评估用户大模型生成内容与真实标注的差异
  • 指标包括BLEU-4、ROUGE-1、ROUGE-2ROUGE-L、准确率、F1分数
  • 支持评估错例导出，方便大模型迭代优化
• 量化压缩
  • 开放大模型自动压缩能力，支持BLOOMZ-7B生成模型的量化压缩 (INT8)
  • 推理速度可提升5%-30%

服务部署

• 预置服务
  • 预置百度文心ERNIE-Bot、高性能版ERNIE-Bot-turbo，及BLOOMZ-7B等大语言模型服务
  • 以API和在线可视化测试形式对外开放服务支持调整多种参数，提升模型效果
• 在线服务
  • 支持调整多种参数，提升模型效果
  • 支持预置模型和微调后模型发布为在线服务支持预置模型和微调后模型发布私有资源池独占资源，保障服务QPS
  • 支持数据回流，对回流数据进行下一步的标注、训练，用于调优模型

Prompt模板管理

• 支持Prompt模板基础管控功能，包含Prompt模板的增删改查
• 支持参数插值的模板形式，可以自定义Prompt模板中需要插入内容的位置
• 支持通过服务API形式调用Prompt模板

千帆大模型插件

• 支持将插件能力编排进入应用内，进行能力扩展，灵活增强模型能力。
• 预置“域内知识搜索增加插件”， 大模型与本地知识实时增强搜索，开箱即用，快速实现基于本地知识搜索应用的搭建。

基础管控

• 安全干预机制