千帆AppBuilder命中测试（召回）提供分数的计算说明和优化说明
AI原生应用开发/技术交流
- LLM
10月13日1636看过
命中测试概要
命中测试作用与定位是：在将召回的切片交给大模型生成之前，评估从向量数据库返回结果的质量与性能，包括切片的命中效果及 Retrieval 效率，从而帮助用户选择最优的配置方案。
在此过程中，系统支持在同一条 Query 下灵活切换 检索策略（全文 / 语义 / 混合）、召回数量 Top-K、匹配分阈值 与 上下文扩展，并对结果进行对比分析。系统仅会保留匹配分 ≥ 阈值的片段用于后续处理。
用户高级设置在命中测试流程中的作用如下：
功能简介
功能模块说明：
|
模块
|
功能说明
|
建议配置
|
|
检索策略选择
|
切换不同算法，可以最大化确保真正相关的文档被召回，减少漏召和误召。
|
查看下文“知识检索策略”表格
|
|
重排序设置
|
对候选片段计算语义相关性分数，通常覆盖或主导最终排序，能更准确地修正知识检索环节（BM25/向量）后的排序结果。
|
查看下文“重排序设置模块说明”表格
|
|
扩展上下文设置
|
拼接候选片段邻近内容，增强语义与事实完整性
|
查看下文“扩展上下文信息设置“表格
|
1. 选择知识检索策略
作用：选择合适的策略，可以最大化确保真正相关的文档被召回，减少漏召和误召。
知识检索策略说明：
|
检索策略
|
原理
|
推荐场景
|
|
混合检索
|
同时执行 BM25 全文检索和向量语义检索，归一化后加权合成最终相关性分
|
产品描述多样、电商搜索、知识库检索等
|
|
全文检索
|
仅使用 BM25 分数归一化后的结果排序
|
Keywords 精确匹配需求高的场景
|
|
语义检索
|
使用向量语义相似度进行排序
|
自然语言表达多样、口语化、FAQ 场景等
|
场景案例：
|
检索策略
|
场景示例
|
业务背景
|
优势说明
|
|
混合检索
|
电商平台产品搜索
|
用户搜索关键词多样，如“保温瓶” vs “保持饮料冷的水壶”
|
精确关键词匹配 + 捕获语义近似表达，提高召回与排序质量
|
|
全文检索
|
法律法规查询
|
律师需精准匹配法规条款编号或术语
|
高精度匹配，确保结果与查询一致，即便会忽略语义扩展
|
|
语义检索
|
客服问答
|
用户问“怎么退货？”，文档中可能用“退换货流程”等表达
|
语义理解强，召回表达不同但与 query 语义相关的文档
|
2. 重排序配置
对“Query-候选片段”逐一重新打分，这个分数专门衡量“语义相关性”，通常覆盖或主导最终排序，能更准确地修正知识检索环节（BM25/向量）后的排序结果。
重排序设置模块说明：
|
功能项
|
功能说明
|
建议配置
|
|
召回数量
|
经过重排序得到的排序结果，取前K条切片进入后续处理。
|
建议起始配置为 K=8，并视模型上下文（即生成模型一次能接受的最大 token 数，总输入长度 = Prompt + Query + K × 平均切片长度）与命中测试的分数分布再渐进增减。K过小时：可能遗漏关键信息，生成内容缺乏完整性；K过大时：覆盖信息更全面，也可能带来性能开销、冗余上下文和生成噪声。
|
|
匹配分阈值
|
控制候选文档的最低相关性，过滤低质量结果。
|
建议配置时可先设置匹配分为 0.2 ，统计score分布后动态设定，测试得出最佳阈值。阈值高使得精确度高但可能召回不足；阈值过低可能会导致检索结果和问题不相关。
|
场景案例：
|
场景
|
配置
|
业务需求
|
|
金融法务
|
重排序 + 较低召回数量 + 高匹配分阈值
|
律师/合规人员检索法规条款，依赖精确法律概念，不能带入无关内容，对延迟容忍度高
|
|
客服问答
|
无重排序 + 大召回数量 + 阈值极低
|
用户口语化表达，需要召回尽可能多相关内容以生成回答，强调实时答复
|
|
电商搜索
|
启用重排序 + 中等召回数量 + 中等匹配阈值
|
用户表达多样（如“保温瓶” vs “冷饮携带杯”），需兼顾语义覆盖和关键词匹配，结果需高质量且迅速
|
3. 扩展上下文信息设置
-
将候选前后切片一并拼接，增强语义和事实完整性。
-
当问题需要跨句综合或需要上下文脉络而非单句证据时建议开启。
场景案例：
|
场景
|
业务背景
|
配置/策略
|
预期效果
|
|
法律法规检索
|
用户询问“哪些行为违反第15条”，答案可能分布在多个段落，单个切片不完整
|
开启扩展上下文信息设置
|
生成答案中引用的法律依据更全面
|
|
客服问答
|
用户问“如何退货及退款流程”，信息分散在产品、物流、财务多个文档片段
|
开启扩展上下文信息设置
|
信息完整性提升，生成更准确，用户体验和答案质量改善
|
切片得分说明
-
用户在命中测试控制台页面可以在测试概览中获得命中切片以及其对应的分值。此处切片分数代表的是 该片段与用户查询的“相关性评分”——它是由重排序模型计算出的打分。
-
这个分数用于决定该片段在命中测试中展示顺序，分数越高表示模型认为该片段越相关，展示位置越靠前。
计算逻辑
-
在检索阶段，使用语义检索或全文检索等知识检索策略得到一批候选切片。
-
对于这些候选切片应用 Rerank 模型，将用户查询和候选切片做联合输入，输出相关性打分，该分数即命中切片对应的分值。所有候选切片按相关性打分从高到低排序，生成最终的命中列表。
使用API查看得分
在使用知识库检索接口时，您可以从返回结构中的
chunks[].rank_score获取切片得分。
字段说明：
|
字段名
|
类型
|
是否必填
|
|
rank_score
|
float
|
是
|
示例片段：
{"chunks": [{"chunk_id": "abc123","rank_score": 0.5597}],"total_count": 1}
{"chunks": [{"chunk_id": "1f073ffe-3186-4df1-8020-934501892c5a","knowledgebase_id": "c17f9dca-9b38-4dd3-aae6-4cc19c2088e8","document_id": "b4541f76-e8b1-46e3-8b20-a535ab73a149","document_name": "msg","meta": {"coord": "{\"box\": [[56, 179, 482, 72]], \"page_num\": [24, 25], \"parent_list\": [\"1\、\政\策\顶\层\设\计\指\明\方\向 \\n\", \"\（\二\）\主\要\机\遇 \\n\", \"\二\、2023 \年\宏\观\经\济\展\望 \\n\", \"\图\目\录 \\n\"], \"parent_last\": 1061}","page_nums": [24,25],"tokens": 452,"word_count": 588,"title": "msg","para_format": "txt","para_type": "text","chart_img_key_id": "","left_neighbors": ["83b1a508-3df6-4f1b-aad9-c9d3730bb609"],"right_neighbors": ["50ed7057-4a4a-4b50-80fe-d20b5cd684c2"]},"chunk_type": "paragraph","content": " \n（1）党的二十大报告 \n二十大报告为未来五年的高质量发展制定了战略方向。做出了以下几点战略部署：1）着力构建新发展格局。\n2）着力提高全要素生产率。3）着力提升产业链供应链韧性和安全水平。4）着力推进城乡融合发展和区域协调\n发展。5）着力构建高水平社会主义市场经济体制。6）着力推进高水平对外开放。7）着力推动绿色低碳发展。","create_time": "2025-01-08T22:49:32.327000","update_time": "2025-01-08T22:49:32.327000","retrieval_score": 0.0,"rank_score": 0.5597112774848938,"locations": {"page_num": [24,25],"box": [[56,112,482,25]]},"children": [{"chunk_id": "9a0ede81-e2ad-43ac-82c0-07ed96535d15","knowledgebase_id": "c17f9dca-9b38-4dd3-aae6-4cc19c2088e8","document_id": "b4541f76-e8b1-46e3-8b20-a535ab73a149","document_name": "msg","meta": {"title": "msg"},"chunk_type": "sentence","content": " \n（1）党的二十大报告 \n二十大报告为未来五年的高质量发展制定了战略方向。做出了以下几点战略部署：1）着力构建新发展格局。","create_time": "2025-01-08T22:49:32.327000","update_time": "2025-01-08T22:49:32.327000","retrieval_score": 45.635006,"rank_score": 0.7578274865456178,"children": []}],"neighbour_chunks": [{"chunk_id": "83b1a508-3df6-4f1b-aad9-c9d3730bb609","knowledgebase_id": "c17f9dca-9b38-4dd3-aae6-4cc19c2088e8","document_id": "b4541f76-e8b1-46e3-8b20-a535ab73a149","document_name": "msg","meta": {"coord": "{\"box\": [[501, 390, 17, 7]], \"page_num\": [23, 24, ], \"parent_list\": [\"\（3\）\\n\", \"2\、\国\内 \\n\", \"\（\一\）\主\要\问\题\和\挑\战 \\n\", \"\二\、2023 \年\宏\观\经\济\展\望 \\n\", \"\图\目\录 \\n\"], \"parent_last\": 1045}","page_nums": [23,24],"tokens": 455,"word_count": 592,"title": "msg","para_format": "txt","para_type": "text","chart_img_key_id": "","left_neighbors": ["a990f209-9b7a-4d0c-bdce-6ee5913edd45"],"right_neighbors": ["1f073ffe-3186-4df1-8020-934501892c5a"]},"chunk_type": "paragraph","content": " \n2018 年，国务院办\n公厅印发《关于保持基础设施领域补短板力度的指导意见》。\n政策深度报告 \n（二）主要机遇 \n1、政策顶层设计指明方向 \n","create_time": "2025-01-08T22:49:32.326000","update_time": "2025-01-08T22:49:32.326000","retrieval_score": 0.0,"rank_score": 0.0,"locations": {"page_num": [23,24],"box": [[56,474,142,12]]},"children": [],"original_chunk_id": "1f073ffe-3186-4df1-8020-934501892c5a","original_chunk_offset": -1},{"chunk_id": "50ed7057-4a4a-4b50-80fe-d20b5cd684c2","knowledgebase_id": "c17f9dca-9b38-4dd3-aae6-4cc19c2088e8","document_id": "b4541f76-e8b1-46e3-8b20-a535ab73a149","document_name": "msg","meta": {"coord": "{\"box\": [[56, 179, 482, 72]], \"page_num\": [25], \"parent_list\": [\"\（4\）2023 \年\政\府\工\作\报\告 \\n\", \"1\、\政\策\顶\层\设\计\指\明\方\向 \\n\", \"\（\二\）\主\要\机\遇 \\n\", \"\二\、2023 \年\宏\观\经\济\展\望 \\n\", \"\图\目\录 \\n\"], \"parent_last\": 1065}","page_nums": [25],"tokens": 421,"word_count": 548,"title": "msg","para_format": "txt","para_type": "text","chart_img_key_id": "","left_neighbors": ["1f073ffe-3186-4df1-8020-934501892c5a"],"right_neighbors": ["a4a87e25-25e5-4c9a-8ce6-39abaff6fdf3"]},"chunk_type": "paragraph","content": "财政方面强调“积极的财政政策要加力提效”，\n进一步加大减税缴费、发行政府专项债券等积极财政政策的实施力度。稳增长目标以扩大内需和促进科技创新\n作为两个抓手，通过促进消费和产业转型升级实现高质量的稳增长。报告重点强调了布局三大领域工作：数字\n化转型、国资国企改革及促进民营经济发展、吸引和利用外资。 ","create_time": "2025-01-08T22:49:32.327000","update_time": "2025-01-08T22:49:32.327000","retrieval_score": 0.0,"rank_score": 0.0,"locations": {"page_num": [25],"box": [[56,407,482,87]]},"children": [],"original_chunk_id": "1f073ffe-3186-4df1-8020-934501892c5a","original_chunk_offset": 1}]}],"total_count": 1}
快捷导航
千帆应用开发平台AppBuilder产品文档：https://cloud.baidu.com/doc/AppBuilder/s/6lq7s8lli
千帆应用开发平台——创建知识库： https://cloud.baidu.com/doc/AppBuilder/s/Om2sdgyns
千帆应用开发平台——知识库简介： https://cloud.baidu.com/doc/AppBuilder/s/lmde5yr7s
千帆应用开发平台——切片管理： https://cloud.baidu.com/doc/AppBuilder/s/gm3sexghu
千帆应用开发平台——知识库： https://cloud.baidu.com/doc/AppBuilder/s/8m0kjqbu6
评论
