大模型应用(1) 搭建本地知识库

大模型开发/技术交流

LLM
开源大模型

2月26日2311看过

本文将讲述如何在本地部署大模型服务，并使用Embeeding、向量数据库和LangChain构建本地知识库

本地部署LLM

通常使用LangChain会去调用OpenAI的服务，但是我们在使用OpenAI服务时，但经常会遇到很多阻力，比如付费、网络不稳定等。因此我们可以在下载一个较小的大模型到本地，并将其部署成OpenAI服务，这样也便于我们使用LangChain去直接调用。

首先需要下载FastChat：

  
  
  
  
  
  
   
   
   
   
   
   
    pip3 install "fschat[model_worker,webui]" -i https://pypi.tuna.tsinghua.edu.cn/simple

部署很简单，只要开启三个终端分别运行以下命令

启动控制器：

  
  
  
  
  
  
   
   
   
   
   
   
    python -m fastchat.serve.controller --host 0.0.0.0

启动worker，model-path 要指定模型的路径

  
  
  
  
  
  
   
   
   
   
   
   
    python -m fastchat.serve.model_worker --model-path /to/path/ --host 0.0.0.0

最后执行命令：

  
  
  
  
  
  
   
   
   
   
   
   
    python -m fastchat.serve.openai_api_server --host 0.0.0.0

这样就可以将模型启动为一个OpenAI服务

这里用的是千问7B大模型，可以执行如下代码进行下载：

  
  
  
  
  
  
   
   
   
   
   
   
    from modelscope.hub.snapshot_download import snapshot_download
   
   
   
   
   
   
   
   
   
   
   
   
    model_dir = snapshot_download('qwen/Qwen-7B-Chat', cache_dir='./to/path')

Embeeding

Embedding 技术已经作为「基本操作」广泛应用于推荐、广告、搜索等互联网核心领域中。Embedding 是用一个低维稠密向量来表示一个对象，使得这个向量能够表达相应对象的某些特征，同时向量之间的距离能反应对象之间的相似性。我们要基于大模型搭建本地知识库，那就必须要用到Embeeding了，将文本数据转化成向量，只有转化成向量，才便于计算机处理。将这些向量存到数据库后，我们可以将要提的问题同样适用Embeeding转化为向量，然后就行语义相似度查询，获取相关的知识信息。

使用如下代码就可以轻松的将语言转化为向量：

  
  
  
  
  
  
   
   
   
   
   
   
    from sentence_transformers import SentenceTransformer
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    model = SentenceTransformer('all-mpnet-base-v2')

向量数据库

上文提到，我们会将语句转化为的向量存储到数据库中，这个数据库就是向量数据库。向量数据库主要用于图像检索、音频检索、文本检索等领域，其主要特点是能够高效地存储和检索大规模的向量数据，它用了专门的数据结构和算法来处理向量之间的相似性计算和查询。通过构建索引结构，向量数据库可以快速找到最相似的向量，以满足各种应用场景中的查询需求。

我们将一些文档信息，也就是知识，分块存到向量数据库中，对于用户的问题，使用 Embedding 的相似度进行语义搜索的技术。然后，我们将和问题语义最接近的前几条内容，作为提示语的一部分给到 AI，就相当于给AI配备一套知识库。

LangChain

最后后使用LangChain组装上述所有的功能，实现大模型外挂知识库：

  
  
  
  
  
  
   
   
   
   
   
   
    from langchain.chat_models import ChatOpenAI
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.text_splitter import RecursiveCharacterTextSplitter
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.document_loaders import TextLoader
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.document_loaders import PyPDFLoader
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.document_loaders import Docx2txtLoader
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.embeddings import ModelScopeEmbeddings
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.vectorstores import Qdrant
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.retrievers.multi_query import MultiQueryRetriever 
   
   
   
   
   
   
   
   
   
   
   
   
    from langchain.chains import RetrievalQA
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    import os
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 连接本地部署的OpenAI服务
   
   
   
   
   
   
   
   
   
   
   
   
    model = ChatOpenAI(
   
   
   
   
   
   
   
   
   
   
   
   
        streaming=True,
   
   
   
   
   
   
   
   
   
   
   
   
        verbose=True,
   
   
   
   
   
   
   
   
   
   
   
   
        callbacks=[],
   
   
   
   
   
   
   
   
   
   
   
   
        openai_api_key="none",
   
   
   
   
   
   
   
   
   
   
   
   
        openai_api_base="http://127.0.0.1:8000/v1",
   
   
   
   
   
   
   
   
   
   
   
   
        model_name="Qwen-7B-Chat",
   
   
   
   
   
   
   
   
   
   
   
   
        temperature=0
   
   
   
   
   
   
   
   
   
   
   
   
    )
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 加载Documents
   
   
   
   
   
   
   
   
   
   
   
   
    base_dir = './files' # 文档的存放目录
   
   
   
   
   
   
   
   
   
   
   
   
    documents = []
   
   
   
   
   
   
   
   
   
   
   
   
    for file in os.listdir(base_dir): 
   
   
   
   
   
   
   
   
   
   
   
   
        # 完整的文件路径
   
   
   
   
   
   
   
   
   
   
   
   
        file_path = os.path.join(base_dir, file)
   
   
   
   
   
   
   
   
   
   
   
   
        if file.endswith('.pdf'):
   
   
   
   
   
   
   
   
   
   
   
   
            loader = PyPDFLoader(file_path)
   
   
   
   
   
   
   
   
   
   
   
   
            documents.extend(loader.load())
   
   
   
   
   
   
   
   
   
   
   
   
        elif file.endswith('.docx'):
   
   
   
   
   
   
   
   
   
   
   
   
            loader = Docx2txtLoader(file_path)
   
   
   
   
   
   
   
   
   
   
   
   
            documents.extend(loader.load())
   
   
   
   
   
   
   
   
   
   
   
   
        elif file.endswith('.txt'):
   
   
   
   
   
   
   
   
   
   
   
   
            loader = TextLoader(file_path)
   
   
   
   
   
   
   
   
   
   
   
   
            documents.extend(loader.load())
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10) # 文档分割器
   
   
   
   
   
   
   
   
   
   
   
   
    chunked_documents = text_splitter.split_documents(documents)
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 创建 embeedings
   
   
   
   
   
   
   
   
   
   
   
   
    model_id = "damo/nlp_corom_sentence-embedding_chinese-base"
   
   
   
   
   
   
   
   
   
   
   
   
    embeddings = ModelScopeEmbeddings(
   
   
   
   
   
   
   
   
   
   
   
   
        model_id=model_id)
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 加载文档到向量数据库
   
   
   
   
   
   
   
   
   
   
   
   
    vectorstore = Qdrant.from_documents(
   
   
   
   
   
   
   
   
   
   
   
   
        documents=chunked_documents, # 以分块的文档
   
   
   
   
   
   
   
   
   
   
   
   
        embedding=embeddings, # 用OpenAI的Embedding Model做嵌入
   
   
   
   
   
   
   
   
   
   
   
   
        location=":memory:",  # in-memory 存储
   
   
   
   
   
   
   
   
   
   
   
   
        collection_name="documents") # 指定collection_name
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 构建一个MultiQueryRetriever
   
   
   
   
   
   
   
   
   
   
   
   
    retriever_from_llm = MultiQueryRetriever.from_llm(retriever=vectorstore.as_retriever(), llm=model)
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    # 实例化一个RetrievalQA链
   
   
   
   
   
   
   
   
   
   
   
   
    qa_chain = RetrievalQA.from_chain_type(model, retriever=retriever_from_llm)
   
   
   
   
   
   
   
   
   
   
   
   
    result = qa_chain("填入你的问题")
   
   
   
   
   
   
   
   
   
   
   
   
    
   
   
   
   
   
   
   
   
   
   
   
   
    print(result)

在上面代码中，首先连接本地部署的OpenAI服务，创建出了model，随后使用 RecursiveCharacterTextSplitter 进行文本分割，设置一个文档块大小为200，重叠字符长度为10。之后初始化Embeeding模型，并使用Qdrant作为向量数据库，读如文档数据并进行Embeeding将自然语言存储成向量。之后查询器使用了MultiQueryRetriever，其特点是使用语言模型从不同的视角为给定的用户输入查询生成多个查询。然后使用这些查询来检索一组相关文档。下一步，使用RetrievalQA构建了一个Chain，作用是先检索后生成，即检索增强生成。

到这里就完成构建了。

————————————————

原文链接：https://juejin.cn/post/7326268998491324425

如有侵权，请联系千帆社区进行删除

大模型应用(1) 搭建本地知识库

本地部署LLM

Embeeding

向量数据库

LangChain

热点话题

【千帆大模型训练营】 开启大模型卓越之门：模型优化的关键钥匙 直播回放

LangChain 实战课：开篇词——奇点时刻

如何创建虚拟环境和快速复制虚拟环境？

Spring AI如何实现对话记忆

【千帆大模型训练营】开启大模型卓越之门：模型优化的关键钥匙直播回放