logo
1

本地部署 Ollama 引发的本地访问的一些问题

大模型开发/技术交流

  • LLM
11月6日3183看过
在开始之前，先简单介绍一下 Ollama 是什么。可以这样理解，Ollama 和模型的关系就像是 Docker 🐳 和镜像的关系。Ollama 是一个管理和运行 AI 🤖 模型的平台，它帮助您更方便地部署和管理各种 AI 模型。而模型则是 Ollama 中具体的内容，就像 Docker 中的镜像一样。
在这篇文章中，我将分享如何在 🍎 Mac 上进行 Ollama 的本地部署，包括 Ollama 的下载⬇️、环境变量的配置🔧，以及解决在 .bash_profile 中设置 OLLAMA_HOST 但不生效的问题。准备好了吗？让我们一起踏上这段充满曲折（但也充满乐趣🎉）的旅程吧！

🛠️ Ollama 的下载与安装

首先，您可以通过 Ollama 官网 或 GitHub 仓库来下载最新的版本。安装过程比较简单，但如果网络不好，下载过程会非常慢🐢。
下载完成后，您可能会问：“这货到底装好了没？” 别急😅，直接打开可执行文件即可。
如果一切顺利，打开终端💻，执行 ollama -h 能看到说明，就大功告成💪。

📦 下载和运行模型

使用 ollama pull 下载模型

一旦 Ollama 安装完成，您可以通过 ollama pull 命令来下载所需的模型。例如，下载一个名为 gemma2:9b 的模型，您只需在终端中输入以下命令：
这个命令会从 Ollama 的服务器中拉取该模型并下载到本地。

使用 ollama run 运行模型

下载完成后，您可以使用 ollama run 命令来运行模型。例如，运行我们刚刚下载的 gemma2:9b 模型，您可以输入：
这个命令会启动模型并等待您的输入，就像和一个 AI 伙伴聊天💬一样，方便又有趣😄。

直接按建议运行

在 ollama 的官网，找到一个模型，例如 gemma2:9b
在没有 pull 的情况下直接 ollama run gemma2:9b，会自动 pull 后再运行

⚙️ 配置环境变量

Ollama 本地部署需要设置一些环境变量，其中最重要的就是 OLLAMA_HOST，这个变量用于指定 Ollama 服务运行的主机地址。

🪟 Windows 下配置用户环境变量

在 Windows 系统中，您可以按照以下步骤来配置环境变量：
  1. 打开系统属性
    • 右键点击“此电脑”或“我的电脑”，选择“属性”。
    • 点击“高级系统设置”。
  1. 进入环境变量设置
    • 在“系统属性”窗口中，点击“环境变量”按钮。
  1. 添加用户变量
    • 在“用户变量”区域中，点击“新建”。
    • 在“变量名”中输入 OLLAMA_HOST，在“变量值”中输入 0.0.0.0:11434。
    • 再次点击“新建”，在“变量名”中输入 OLLAMA_ORIGINS，在“变量值”中输入 *。
    • 点击“确定”保存。
  1. 重启命令提示符
    • 为了使新的环境变量生效，您需要在任务栏中找到羊驼的标记（Ollama 图标），退出后重新打开软件。这样，新的环境变量就会生效啦！

🍎 macOS 下配置用户环境变量

在 macOS 中，您可以通过编辑 .bash_profile 文件来配置环境变量。步骤如下：
  1. 打开终端，输入以下命令来编辑 vi .bash_profile 文件：
  2. 在文件末尾添加以下内容： 
  
  
  
  
  
  

   
   
   
   
   
   

    export OLLAMA_HOST=0.0.0.0:11434
   
   
   
   
   
   

   
   
   
   
   
   

    export OLLAMA_ORIGINS="*"
OLLAMA_ORIGINS="*" 这个引号一定要加，经验证在 Intel 的 MAC 上不加会启动不了 ollama，但在 Apple 芯片上的 MAC 可以不加
保存并退出（按 Esc，然后输入 :wq 并按回车）。在任务栏中找到羊驼的标记，退出后重新打开软件。
注意：有用户反馈，即使按照上述步骤配置，环境变量仍然可能没有生效。官方尚未完全解决该问题。

🕒 临时方案：使用 launchctl

如果修改 .bash_profile 后环境变量仍未生效，您可以使用一个临时方案。在终端中输入以下命令来临时设置环境变量： 
  
  
  
  
  
  

   
   
   
   
   
   

    launchctl setenv OLLAMA_HOST 0.0.0.0:11434
   
   
   
   
   
   

   
   
   
   
   
   

    launchctl setenv OLLAMA_ORIGINS *
然后，在任务栏中找到羊驼的标记，退出后重新打开软件。这些环境变量将在本次会话中生效，但不会永久保存，在系统注销关机后会失效，建议先保存这两句，以便下次再用

📝 小结

在本地部署 Ollama 时，正确配置环境变量是非常重要的一步。尤其是在 🍎 macOS 中，无法生效会让自己摸不着头脑，希望这篇文章能够帮您解开心中的疑惑🧩，让 Ollama 在您的 🍎 Mac 上顺利跑起来🏃‍♂️💨。如果您在配置过程中遇到什么奇葩的问题，或者有其他心得，欢迎在评论区吐槽或者分享🗣️！
部署的路上虽有波折，但请记住，折腾也是一种乐趣😜。祝大家愉快折腾，快乐部署！🚀

其它

————————————————
版权声明：本文为稀土掘金博主「夜起叶落」的原创文章
原文链接：https://juejin.cn/post/7421831962941358134
如有侵权，请联系千帆社区进行删除

评论
用户头像

相关推荐
作者头像
徐徐大树

相关文章

热点话题