logo
1
话题头图

使用Ollama本地部署DeepSeek-R1大模型

大模型开发/技术交流

2月11日4917看过
介绍使用百度智能云GPU服务器来实现DeepSeek的本地部署
☞ 如果您在大模型落地过程中遇到任何问题，可以提交工单咨询：https://console.bce.baidu.com/ticket/#/ticket/create?productId=279
☞ 同时，大模型技术专家可为您提供效果调优、应用定制和技术培训等付费专属服务：https://cloud.baidu.com/product/llmservice.html

引言

DeepSeek-R1是由中国的深度求索(DeepSeek)公司开发的大模型，用低成本以及更小的算力规模实现了美国顶级AI模型的效果。
DeepSeek已遵循MIT协议实现了开源，本文介绍使用百度智能云GPU服务器来实现DeepSeek的本地部署。

模型部署

安装环境

硬件环境

  • 百度智能云 GPU 服务器。
计算型 GN5 服务器， 推荐最低配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G显存，搭配 100GB SSD 数据盘， 安装 Windows Server 2022系统 。
  • 如果您使用自己的环境部署
建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少8G以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

软件环境

  • Ollama 0.5.7或更高版本
  • ChatBox 1.9.8或更高版本
  • Windows Server 2022或更高版本
  • Nvidia驱动版本572.13， CUDA工具版本12.8 或更高版本


安装步骤

购买服务器

  1. 登录控制台，按需购买云服务器，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。
  1. 安装操作系统
  • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。
  • 通过 VNC 登录实例，安装 GPU 驱动程序。
通过浏览器进入NVIDIA官方驱动下载地址，选择相应驱动下载进行安装，本教程我们选择538.78， CUDA版本为12.2。

安装Ollama

  1. Windows客户端安装。

  • 安装完毕会自动运行，右下角可以看到这个图标：
  • 打开windows PowerShell或在CMD命令行终端，输入ollama命令，回车，即可显示ollama命令的使用帮助。


下载DeepSeek模型

DeepSeek包含1.5b, 7b, 8b, 14b, 32b, 70b, 671b不同参数级别，参数越大，精度越高，模型效果越好，根据自己的GPU显存大小选择不同的参数级别。
由于A10 GPU只有24G显存，我们可以安装14b模型版本，如果您的显存80G，那么推荐安装70b模型版本。
执行如下命令，ollama会自动下载模型并加载运行，出现success提示时，说明模型加载完成，可以愉快的跟大模型交流了。 
  
  

   
   

    ollama run deepseek-r1:14b


配置远程访问

Ollama 启动的默认地址为http://127.0.0.1:11434，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。
  1. 停止ollama 服务
右下角这个图标，右键选择退出 。
  1. 设置环境变量OLLAMA_HOST，OLLAMA_ORIGINS
右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。
环境变量名
变量值
说明
OLLAMA_HOST
:8888
根据业务需要更改Ollama的监听地址和端口
OLLAMA_ORIGINS
*
允许跨域访问，方便浏览器调用Ollama的API


设置环境变量，表示监听在0.0.0.0:8888上。
环境变量名
变量值
说明
OLLAMA_HOST
:8888
根据业务需要更改Ollama的监听地址和端口
OLLAMA_ORIGINS
*
允许跨域访问，方便浏览器调用Ollama的API

  1. 设置完毕环境变量，打开新的powershell或者CMD命令行终端， 重新启动ollama服务并加载模型。 
  
  

   
   

    ollama run deepseek-r1:14b


模型应用

使用ChatBox对话

模型部署完成后，我们可以使用命令行或者API与模型进行对话，但在交互上总是不太方便，我们可以使用ChatBox工具，通过交互界面与模型对话。
  • ChatBox官方网地址：https://chatboxai.app/zh ， 从官网上下载最新工具，安装完毕后，我们来配置本地模型。
如果chatbox和ollama运行在同一服务器上，ollama地址可以选择本地127.0.0.1地址，否则需要输入实际地址。
  • 与模型对话

API调用

开启远程连接之后，您就可以远程调用API了，示例如下，10.10.3.10替换为您服务器IP。 
  
  

   
   

    curl http://10.10.3.10:8888/api/generate -d '{
   
   

   
   

      "model": "deepseek-r1",
   
   

   
   

      "prompt": "你是谁？"
   
   

   
   

    }'

流式输出：



如果想要get更多大模型技巧，推荐学习
工信部教考中心x百度推出的《生成式人工智能应用工程师》
百度推出的《百度AI大模型工程师》、《零基础速通 DeepSeek：AI 变革破局思考与实践》（即将上线）

评论
用户头像

作者头像
百度智能云服务交付中心

相关文章

热点话题