Llama 3.1 介绍

安装环境

硬件环境

• 百度智能云 GPU 服务器。

• 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

安装步骤

购买服务器

1. 登录控制台，按需购买云服务器，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。

1. 安装操作系统

• 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。

• 通过 VNC 登录实例，安装 GPU 驱动程序。

安装 Ollama 客户端

• 如果您有科学上网环境，最好从官方下载地址下载，保证最新版本。 如果没有，您可以从临时下载地址下载。

• 安装完毕会自动运行，右下角可以看到这个图标：

• 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

下载模型文件

加载模型

• 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。

  
  

   
   

    ollama run llama3.1:8b
   
   
  
  

  
  

   
   

    ollama run llama3.1:70b 
   
   
   
   

    ollama run llama3.1:405b
   
   
  
  

• 出现success提示时，说明模型加载完成，可以愉快地跟大模型交流了。

更多模型支持

手动导入模型

模型应用

直接在控制台中对话

配置远程访问

1. 停止 ollama 服务

1. 设置环境变量

1. 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模型。

  
  

   
   

    ollama run llama3.1:8b
   
   
  
  

API 调用

  
  

   
   

    curl http://106.12.151.249:8888/api/generate -d '{
   
   
   
   

      "model": "llama3.1:8b",
   
   
   
   

      "prompt": "你好啊"
   
   
   
   

    }'
   
   
  
  

Web UI

Open WebUI

1. 安装

• 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。
• 使用 pip 安装。

  
  

   
   

    pip install torch torchvision torchaudio --index-url 
   
   
   
   

    https://download.pytorch.org/whl/cu121
   
   
  
  

1. 使用

• 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。

• 加载成功后，回到对话界面，可以开始聊天了。

• 问个问题，响应速度还是不错的。

LobeChat

1. 安装

1. 使用

• 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。

• 检查通过，获取模型列表

• 回到聊天窗口，选择llama3.1:8b模型

• 开始愉快的聊天吧。