基于大模型构建本地知识库

通常，将大型文本文档拆分为较小的块，以便更好地使用语言模型。文本拆分器负责将文档拆分为较小的文档。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”的含义可能取决于文本的类型。

  
  
  
  
  
  

   
   
   
   
   
   

    根据中文文章的常见终止符号，利用规则进行文本分割。
   
   
   
   
   
   
   
   
   
   
   
   

    如：单字符断句符、中英文省略号、双引号等
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    将文本拆分为语义有意义的小块（通常是句子）。
   
   
   
   
   
   
   
   
   
   
   
   

    开始将这些小块组合成一个较大的块，直到达到一定的大小（由某个函数测量）。
   
   
   
   
   
   
   
   
   
   
   
   

    达到该大小后，将该块设置为自己的文本段，然后开始创建一个具有一些重叠的新文本块。
   
   
   
   
   
   
  
  
  
  
  
  

这是一个CoSENT（余弦句子）模型：shibing624/text2vec-base-Chinese。

它将句子映射到 768 维密集向量空间，可用于任务 如句子嵌入、文本匹配或语义搜索

分别拿 text2vec-base-chinese 、instructor-large 和 OpenAIEmbedding Run这10个中文case，instructor-large 表现最差，text2vec-base-chinese 表现最好：

1. 支持多种索引结构: IVF, IVFFlat, HNSW, etc。这些索引结构可以实现高精度和高召回的向量搜索。
2. 支持多种度量方式:内积,欧氏距离,cosine 相似度等。可选择合适的度量方式对向量集合建立索引。
3. 快速的索引构建与搜索:Faiss使用GPU加速,可以实现亿量级向量的索引构建和搜索。
4. 降维与聚类:Faiss提供PCA,IVFFlat等算法进行向量降维,并支持Kmeans算法进行向量聚类。
5. 高级特性:Faiss支持在线学习,异构向量检索,索引压缩等高级特性。

1. 图像检索:在大规模图片数据库中找到与输入图片最相似的图片。
2. 文本匹配:快速找到与输入文本最相近的文本内容。
3. 推荐系统:根据用户兴趣对大量商品进行快速检索和推荐。
4. 声纹识别:在海量语音数据中实现语音识别和检索。

  
  
  
  
  
  

   
   
   
   
   
   

    # chunk_conent   是否启用上下文关联
   
   
   
   
   
   
   
   
   
   
   
   

    # score_threshold    搜索匹配score阈值
   
   
   
   
   
   
   
   
   
   
   
   

    # vector_search_top_k   搜索知识库内容条数，默认搜索5条结果
   
   
   
   
   
   
   
   
   
   
   
   

    # chunk_sizes    匹配单段内容的连接上下文长度
   
   
   
   
   
   
  
  
  
  
  
  

将问题和topK个向量作为上下文输入给大模型，让大模型根据已有的提示信息进行总结归纳回答。

  
  
  
  
  
  

   
   
   
   
   
   

    基于上下文的prompt模版:根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请说 “根据已知信息无法回答该问题” 或 “没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。 问题是：{question}
   
   
   
   
   
   
  
  
  
  
  
  

版权声明：本文为CSDN博主「江小皮不皮」的原创文章

原文链接：https://blog.csdn.net/qq128252/article/details/131049480

如有侵权，请联系千帆社区进行删除