千帆大模型平台插件编排&知识库迁移至AppBuilder指导说明
大模型开发/产品动态
- LLM
6月5日4999看过
一、迁移说明
您好!为了保证用户有更好的使用体验, 持续为您提供更优质、更高效的服务,经过慎重的考虑,我们决定将千帆大模型平台(以下称为“千帆ModelBuilder”)知识库&插件编排能力迁移到千帆AppBuilder产品内,通过千帆AppBuilder继续提供相关能力支持。
对于目前已存在于千帆ModelBuilder知识库内的文档数据以及插件编排应用,系统将于近期逐批复制到 AppBuilder。如果您选择不通过系统自动复制(包括知识库和插件编排应用),请在6月21日之前通过以下链接 提交表单。对于您在千帆ModelBuilder上传的知识,我们将优先对文本数据进行复制,分批次将结构化数据和插件编排复制至AppBuilder。因应用复制可能滞后于知识库,待知识库数据复制完成后,您也可以自行前往AppBuilder产品进行应用创建。
请注意,千帆ModelBuilder的知识库和插件编排应用将在7月31日正式停止服务,我们后续也将通过短信等方式及时告知您相关信息。在千帆ModelBuilder知识库&插件编排服务停止之前,您在千帆ModelBuilder的知识库数据和插件编排应用将会继续保留,请您及时前往AppBuilder产品进行应用创建
感谢您的理解和支持。
二、AppBuilder知识库&组件编排能力介绍
创建应用
|
对话式创建应用
|
可在AppBuilder控制台主页,通过自然语言,对话式快速创建应用,并自动生成应用头像、应用名称、应用描述、角色指令、组件调用、开场白、推荐问、大模型选择,快速完成应用创建。
|
AI 自动生成配置
|
支持通过自然语言输入即可 AI 自动生成应用配置(包含:应用头像、应用名称、应用描述、角色指令、组件调用、开场白、推荐问、大模型选择)
预置角色指令模块;基于大模型知识检索增强快速定义多轮知识问答。
|
|
知识库相关功能
|
数据库问答
|
数据库问答:Agent应用支持调用数据库进行表格问答(支持上传通用excel、jsonL等数据格式)
|
多知识库
|
多知识库:Agent应用支持关联多个知识库
|
|
支持大规模知识应用场景
|
支持大规模应用:支持数据库表格问答,支持关联多知识库,扩大知识库容量,支持大规模数据量客户应用。每个用户知识库个数支持100个,每个知识库文件数支持800个,单次上次文件数支持100个,知识切片字符长度支持1500字
|
|
知识集合管理
|
用户可以使用Python SDK来管理AppBuilder中的知识库,实现创建知识库,批量上传、删除文件。
|
|
知识处理
|
文档切片查看和命中测试,支持对切片知识进行复制、修改、和禁用(逻辑删除)
|
|
插件编排相关功能
|
可视化插入+SDK调用
|
工具组件既可以在创建Agent应用时可视化插入(目前已支持66个)也支持在SDK中调用,详情请前往操作指南。按使用场景分为:开发工具、文本处理、网页搜索、物体识别、实用工具、科学教育、生活助手、新闻阅读、影音娱乐、图像处理、语音处理。
|
工作流自定义编排组件
|
支持画布式灵活编排工作流开发自定义组件,可快速将企业系统API接入应用,实现应用能力的无限拓展,使输出更稳定可控。同时,API节点支持CURL命令解析、输出参数自动解析
|
|
工作流支持自定义组件&官方组件节点混编
|
组件节点:工作流支持添加已发布的组件节点,工作流支持添加官方组件节点(第一批支持网页内容总结、头条新闻、百度搜索、百度小说、体育赛事、风格转写,第一批效果测试稳定后,全量37个官方组件逐步上线)
|
|
通用功能
|
多轮改写
|
AppBuilder RAG应用能够支持对话的多轮交互和改写。
|
会话管理
|
AppBuilder允许用户通过conversation_id来管理历史会话。
|
|
发布应用
|
多渠道发布管理:包括网页版(可通过PC或移动设备立即开始对话)、文心智能体平台(分发至更多百度生态流量场景(搜索、信息流等)扩大用户流量)、微信客服(接入微信客服机器人,1V1实时解决客户问题)、微信公众号(接入微信公众号,自动回复用户消息,助力高效私域)。前往发布应用
API 调用:可通过OpenAPI直接对已发布应用进行接口调用)
SDK调用:AppBuilder提供了Python/Java/Go语言 SDK,方便用户调用Agent应用
|
|
应用中心
|
在线体验
|
|
应用发布
|
支持自定义应用发布到广场
|
|
应用复制
|
支持一键复制公开应用配置
|
三、迁移时间
1- 5.31日起:千帆ModelBuilder知识库自动复制至千帆AppBuilder,并进行部分应用迁移(此处迁移特指“将千帆ModelBuilder插件编排应用复制到千帆AppBuilder”);
2- 7.31日:千帆ModelBuilder插件服务正式下线;在此之前,您的插件服务仍可使用,但无法新建插件
四、迁移步骤
说明:AppBuilder 会为 ModelBuilder 现有用户进行服务迁移工作。
-
-
对于 ModelBuilder 现有账户下的插件应用服务(下称应用服务)和知识库,系统会进行自动迁移。
-
自动迁移仅包含应用配置数据和知识库数据。
-
为保证您的应用服务可以正常运行,您仍需更对 AppBuilder 上的应用进行效果调试,并更换线上服务的 API 调用方式。
-
登录 AppBuilder 平台后,具体的迁移步骤如下:
确认知识库已迁移至 AppBuilder 平台
-
-
进入 “个人空间” - “知识库” 查看知识库列表。
-
确认 ModelBuilder 的知识库已呈现在 AppBuilder 知识库列表中。迁移的知识库名称会出现 ”MB_" 标志。
-
-
-
迁移的知识库在 AppBuilder 中已按照默认的切片规则,完成数据切片。进入知识库列表,点击 “查看” - “查看切片” 可以看到每个文件的切片结果。
-
确认应用服务已迁移至 AppBuilder 平台
预计于6.24日-6.27日进行迁移,已迁移的应用名称会加上"MB迁移_"前缀,
如果您的应用已迁移,请继续参考该章节介绍
-
-
进入 “个人空间” - “应用” 查看应用列表。
-
确认 ModelBuilder “插件编排” 下的应用服务已迁移在 AppBuilder 应用列表中。
-
对于 ModelBuilder 应用 “服务状态”,请确认:
-
ModelBuilder 中 “服务状态“ 为 ”已上线“ 的应用,在 AppBuilder 的列表中,可以点击查看 ”发布详情“。
-
ModelBuilder 中 “服务状态“ 为 ”编辑中“ 的应用,在 AppBuilder 的列表中,需要进行编辑后可发布。
-
-
进入 AppBuilder 每个应用配置页面,请确认:
-
应用设定:
-
应用基本信息正确。
-
角色指令和 ModelBuilder 对应的应用中提示词一致。
-
-
能力扩展:
-
如果在 ModelBuilder 中启用了知识库或域内知识检索增强插件:请确认
-
Appuilder 应用中知识库区域关联了 ModelBuilder 对应的关联知识库。
-
知识库的 “高级检索” 配置中,和匹配分与知识插件 “置信度” 一致;召回数量 与 “结果数量” 一致。
-
-
如果在 ModelBuilder 中启用了知识库或域内知识检索增强以外的插件:请确认 AppBuilder 应用中组件区域所关联的组件和 ModelBuilder 添加的插件一致。组件名称映射关系见附件。
-
请确认 AppBuilder 中,开场白与 ModelBuilder 设置一致。
-
-
模型能力:
-
查看 AppBuilder 应用配置也右上角的模型配置
-
“问答模型” 是知识库问答时所使用的模型。在配置了关联知识库,且不使用组件时(或组件仅选择百度搜索时),会使用问答模型。确认模型配置中 “问答模型” 与 ModelBuilder 应用中所选模型一致(目前支持 ERNIE 系列模型,其他 ModelBuilder 模型会在后续版本更新)。
-
“思考模型” 推荐使用 “ERNIE-4.0-8k”。在关联组件时,会使用思考模型调度组件的使用。
-
-
-
对已迁移应用进行调试
进入 AppBuilder 应用配置页面:
-
-
测试当前效果
-
准备 3-5 个 测试 query,在右侧调试区域,输入 query ,查看当前应用的返回效果。如需改善答复效果,请参考如下步骤。
-
-
调整角色指令
-
如需对应用的答复语言风格调试,可以通过更改角色指令实现对应效果。也可以通过角色指令区域,右上角的 “优化” 功能,自动优化角色指令内容。当模型选择为 ERNIE 4.0-8k 时,对角色指令遵循会好于其他模型。
-
AppBuilder 目前暂不支持在角色指令中添加变量。
-
-
调整模型
-
模型选择:对于仅使用知识库的场景,推荐将“问答模型”设置为 “ERNIE Speed-AppBuilder” ,结果风格会更简练,有条例,响应速度快。对于使用多组件的场景,推荐将 “思考模型” 设置为 ERNIE 4.0-8k。
-
多样性:对于知识库问答场景,推荐将多样性设为最低,从而让模型总结的内容,更加遵循知识库的反馈。
-
-
调整知识库高级检索配置
-
检索方式:推荐选择高级检索,获得更全面准确的切片段落。
-
-
-
-
-
命中测试:调整召回数量和匹配分时,建议参考 “命中测试” 结果进行调整。
-
进入知识库列表,点击 “查看”,点击 “命中测试”。
-
使用测试 query 查看命中效果,确认正确切片的排序位置和切片匹配分数。
-
根据排序位置调整下述召回数量;根据匹配分数,调整下述匹配分。
-
-
召回数量:当模型返回结果所包含的信息点不足时,通过命中测试确认信息点所在切片排序位置。可通过提高召回数量,扩充切片的命中范围。
-
匹配分:当模型返回结果所包含的信息点不足时,通过命中测试确认信息点所在切片匹配分数。可通过降低匹配分,扩大召回切片范围。当返回
-
-
其他调试方式:
-
-
如果对知识库问答流程有复杂的逻辑要求,可通过工作流编排方式,配置详细流程。进入 “组件广场” - “创建组件” 使用工作流编排功能。使用方式可以参考:“文档中心:工作流创建组件” 。
-
如果需要使用自定义组件,可以通过工作流编排方式,将 API 封装为组件,并关联到应用配置中。使用方式可以参考 “文档中心:工作流创建组件 - API 节点”
-
更新您现有的应用调用方式
五、功能对比详情
功能列表
功能
|
千帆 ModelBuilder
|
千帆 AppBuilder
|
知识库
|
文本文档格式
|
支持文本文档格式,并支持自动生成知识点提高匹配度
|
结构化格式
|
|
|
1个应用支持选择3个知识库
|
||
从bos上传文件
|
暂不支持
|
|
插件编排
|
“智慧图问”插件
|
注意:需要用户完成个人认证或企业认证后,前往console领取免费额度
|
“天气”插件
|
使用组件广场-“天气查询”组件实现
|
|
“网页解析”插件
|
使用组件广场-“WebPilot”组件实现
|
|
“百度搜索”插件
|
使用组件广场-“百度搜索”组件实现
|
|
自定义插件
|
||
选择模型类型:
|
选择模型类型:
|
|
配置“返回结果数量”和“置信度”
|
选择知识库后,点击“高级配置”
来配置检索方式、召回数量以及匹配分(对应千帆modelbuilder的置信度)
|
|
配置自定义提示词
|
通过配置“角色指令”来实现
|
|
配置引用提示词
|
通过创建自定义组件:知识库节点-大模型节点 来实现自定义rag框架的prompt
|
插件对应关系
千帆ModelBuilder插件
|
AppBuilder组件
|
知识库-文本文档格式
|
AppBuilder-个人空间-知识库(入口:https://console.bce.baidu.com/ai_apaas/personalSpace )
|
知识库-结构化格式
|
AppBuilder-个人空间-数据库
|
网页解析
|
|
百度搜索
|
|
天气
|
|
智慧问图
|
六、常见问题解答(FAQ)
1.迁移截止时间?或千帆Model Builder的知识库&插件编排功能什么时候下线?
1)5月31日起:千帆ModelBuilder知识库自动复制至千帆AppBuilder,并进行部分插件编排应用的迁移(此处迁移特指“将千帆ModelBuilder插件编排应用复制到千帆AppBuilder”);
2)7月31日:千帆ModelBuilder插件服务正式下线;在此之前,您的插件服务仍可使用,但无法新建插件
2.原来创建的插件是否还能使用?不迁移的话是否会对业务有影响?
千帆ModelBuilder的知识库和插件编排应用7月31日停止服务,我们后续将会通过短信等方式及时告知您相关信息。在千帆ModelBuilder知识库&插件编排服务停止之前,您在千帆ModelBuilder的知识库数据和插件编排应用将会继续保留。
3.迁移后需要用户侧进行什么工作?
请参考第四章节《迁移步骤》说明
4.是否支持通用excel格式上传?
AppBuilder现已支持「数据库」功能,支持标准化excel格式、jsonl格式上传
5.是否支持从bos上传知识文件
暂不支持。
6.知识库插件支持选择SFT微调模型
工作流大模型节点:新增ModelBuilder全部预置模型,包括文心全系列模型、开源全系列模型、用户上传模型、用户SFT 模型
7.是否支持配置“携带上下文轮数”
即将支持
8.如何通过agent实现同时调用多个不同的组件?
选择您要使用的组件,同时参考如下示例构建instruction
示例1.
组件:图像内容理解、电商商品查询
# 角色人物您是一个先进的AI工具,专为识别用户提供的商品图片并匹配电商平台上的购买链接而设计。您的目标是帮助用户通过上传商品的照片快速找到在哪里可以购买该商品,以及提供比较购物选项的功能。# 工具能力当用户上传一张商品的图片时,首先使用图像内容理解分析并识别出图片中的商品。识别出商品后,利用电商商品查询,查询该商品在不同电商平台上商品信息,返回购买链接。# 限制要求请始终确保用户的隐私和数据安全,不要在不经用户同意的情况下收集或存储任何个人信息.
示例2.
组件:航班信息查询、天气查询、百度搜索
# 角色任务您是一个智能旅行助手,专门设计用来帮助用户查询航班信息和规划目的地旅行。您的目标是提供一站式服务,包括航班查询、旅行日程安排以及目的地活动建议。# 组件能力1. 航班动态查询:当用户输入他们的旅行日期和航班号时,您需要使用航班动态查询并展示相关的航班信息。这包括航班号、出发和到达时间。2. 天气查询:可以使用天气查询组件,做天气查询。3. 百度搜索:使用百度搜索组件,查询用户旅游目的地的美食和景点,推荐荐相关的活动和安排。# 要求与限制1. 生成的旅行攻略需要考虑到航班的到达时间和每天的天气情况,合理规划安排2. 生成的回复内容需要规划每天的行程安排,并遵循以下内容格式:DAY 1:DAY2:如:DAY 1:4月11日中午十二点航班抵达北京,有可能下雨,注意携带雨伞。可以先前往酒店办理入住,下午四点左右出发去天安门广场。DAY 2:4月12日天气晴朗,早9点可以达到故宫游玩,但是要注意防晒和补水,中午12点可以品尝南门涮肉,下午两点出发去颐和园和圆明园,预计晚上六点结束。
9.AppBuilder 如何查看免费额度?
-
查看模型资源额度
-
查看组件资源额度
-
agent应用中可用的组件资源额度
-
可前往:https://console.bce.baidu.com/ai_apaas/resource 并切换至“组件资源”菜单,查看组件资源。
-
-
SDK单独调用组件可用的资源额度
-
如通过SDK单独调用能力引擎组件,对应额度请前往能力引擎对应产品查看。
比如使用语音识别组件,请前往语音识别控制台查看当前账号剩余免费额度。
10.agent的qps可以达到多少?
主要受限于组件的qps,可以访问:https://console.bce.baidu.com/ai_apaas/resource 并切换至“组件资源”菜单进一步查看。
11.agent响应速度比较慢,如何优化?
我们深知响应速度对于用户体验的重要性。我们的团队正在积极努力,在保障大模型效果的同时,持续改善agent的响应速度。
最新版本已支持思考模型可选择“ERNIE Speed-AppBuilder”专用模型,在尽可能保证思考效果的同时,进一步提升思考速度,建议您优先选择。
12.OpenAPI和Assistants API的区别是什么?
在我们的AppBuilder console页面,您可以创建Agent框架的应用。这些应用对应的API我们称之为 OpenAPI,它主要用于低代码开发AI原生应用。您可以通过以下链接查看OpenAPI的调用说明:https://cloud.baidu.com/doc/AppBuilder/s/klv2eywua
除此之外,AppBuilder还提供了全代码的灵活开发与集成能力,我们称之为 Assistants API。这是一种纯API调用工具,用于开发agent应用。通过Assistants
API创建的应用与在console页面创建的agent应用是分开的。目前,Assistants API仅供内测使用。您可以通过以下链接查看Assistants API的文档:https://cloud.baidu.com/doc/AppBuilder/s/nluzkdben
如果您对Assistants API感兴趣并希望参与内测,可以通过以下链接进行申请:https://cloud.baidu.com/survey/assistantsapi.html
13.conversation_id过期时间是多久?是否支持调用接口查看conversation_id对应历史会话?
现已发布OpenAPI,每个对话(conversation_id)的有效期限为7天。一旦超过这个期限,该对话可能就无法再被使用,您可能需要重新生成一个新的conversation_id。目前,我们的系统暂时不支持通过接口调用来查看与特定conversation_id对应的历史会话记录。
更多详情,请参考我们的官方文档:https://cloud.baidu.com/doc/AppBuilder/s/vlv2ftwfs
14.如何监控agent应用的调用量,以及失败成功情况?
我们正在积极开发相关功能,预计下个版本支持。请保持关注,我们将及时更新最新信息。
15.appbuilder 支持的知识库集合数量和单知识库集合支持的文件数量?
1. 知识库容量扩充至100个知识库,每个知识库中支持上传800个文件
2. 单个文件的大小限制:txt大小上限提升到10MB,PDF/word提升到50MB
16.知识库切片长度限制是多少?
1. 知识切片自动分段切片长度、自定义分段切片支持扩展到1200字
2. 新建切片、复制编辑知识切片长度支持1500字
17.AppBuilder如何收费?
1.模型调用费用:包括问答模型和思考模型。
-
思考模型:如果应用中未使用组件,思考模型不消耗tokens;如果使用了组件,输入预估消耗600-1800左右tokens,输出在60-400tokens。
不同用户query有上下浮动,此token消耗仅大致范围内预测。
-
问答模型:预置prompt的tokens大概在1000左右。如果应用中使用了知识库,会额外消耗一定tokens。
预置prompt和组件读取消耗的tokens会随着业务的优化发生变化,并不会一直保持当前范围,整体优化方向是减少tokens数。
2.组件调用费用:在agent应用内调用组件限时免费,如果通过sdk单独调用组件则单独计费,具体可参考:
SDK调用组件-购买入口:https://cloud.baidu.com/doc/AppBuilder/s/Glqb6dfiz#3%E3%80%81%E5%BC%80%E9%80%9A%E7%BB%84%E4%BB%B6%E6%9C%8D%E5%8A%A1
18.如何通过API/SDK来调用应用?
旧版RAG API(https://cloud.baidu.com/doc/AppBuilder/s/Flpv3oxup)仅适用于2024年4月2日之前发布的rag类应用。对于在4月2日之后发布的应用,现在支持通过OpenAPI和AppBuilder-SDK的方式来进行调用。
-
OpenAPI的使用方法,请参考:OpenAPI使用指南(https://cloud.baidu.com/doc/AppBuilder/s/klv2eywua)
-
AppBuilder-SDK的使用方法,请参考:AppBuilder-SDK使用指南(https://cloud.baidu.com/doc/AppBuilder/s/Glqb6dfiz)
希望这些信息对您有所帮助!
19.如何获取知识库问答的回答来源?
您可以参考我们的“应用调用”示例代码来获取知识库问答的回答来源。具体的示例代码和使用方法,请参考我们的官方文档:https://cloud.baidu.com/doc/AppBuilder/s/Plvggbuzc#python
20.如何获取接口调用消耗的tokens?
目前AppBuilder GUI侧 工作流(自定义组件)已支持查看 大模型节点单次调试所消耗tokens。我们正在积极开发API相关功能,预计将在不久的将来上线。请保持关注,我们将及时更新最新信息。
21.如何将自己开发的agent应用发布到官方应用广场?
请您参考:操作指南-发布应用-应用广场(https://cloud.baidu.com/doc/AppBuilder/s/zlwhfbh77)文档来操作。
22.agent应用如何实现语音回复?
后续版本即将支持在agent中配置音频配置的模块,支持语音输出。请保持关注,我们将及时更新最新信息。
23.报错:“与我互动人数较多,请稍后再试”如何解决?
1.免费额度用尽:平台对新用户将赠送200次、有效期3个月的免费应用资源,可用于抵扣应用请求次数。在使用模型服务时,如你的账户中有免费应用资源时,将会优先消耗;当免费应用资源消耗完毕后,需要回到平台重新选择付费模型服务,更新发布才能重启应用服务。
2.并发超QPS限制:请您稍后尝试,如果仍无法解决,我们建议您提交工单向我们反馈,我们的团队会尽快处理您的问题。
24.如何通过API/SDK来批量上传知识库文件?
您可以参考我们的“知识库修改”指南来了解如何通过API或SDK来批量上传知识库文件。具体的操作步骤和使用方法,请参考我们的官方文档:https://cloud.baidu.com/doc/AppBuilder/s/glvggogmf
25.目前开放了哪些语言的sdk,其他语言是否有计划?
目前,我们已经开放了Python、Java和Go语言的SDK。对于其他语言的支持,我们会根据用户的反馈来进行进一步的评估。
26.是否支持将应用发布到微信公众号,企业微信等平台?
您好,我们的应用已经具备了发布到微信公众号和企业微信的能力。您可以通过以下链接获取更多信息:
-
企业微信-微信客服发布指南:https://cloud.baidu.com/doc/AppBuilder/s/9ltilry9v
我们始终致力于提供最佳的用户体验,并确保我们的应用可以在各种平台上顺利运行。如果您有任何其他问题或需要进一步的帮助,请随时向我们咨询。
27.如何自定义知识库的系统提示词?
详情请参考:操作指南-最佳实践-如何自定义知识库的提示词:https://cloud.baidu.com/doc/AppBuilder/s/Plwg8155o
28.如何通过自定义组件(工作流)构建自定义API组件?
详情请参考:操作指南-最佳实践-通过1个工作流实现 API的增删查组件:https://cloud.baidu.com/doc/AppBuilder/s/jlwg829cw
评论