logo
1

本地部署 Ollama 引发的本地访问的一些问题

在开始之前,先简单介绍一下 Ollama 是什么。可以这样理解,Ollama 和模型的关系就像是 Docker 🐳 和镜像的关系。Ollama 是一个管理和运行 AI 🤖 模型的平台,它帮助您更方便地部署和管理各种 AI 模型。而模型则是 Ollama 中具体的内容,就像 Docker 中的镜像一样。
在这篇文章中,我将分享如何在 🍎 Mac 上进行 Ollama 的本地部署,包括 Ollama 的下载⬇️、环境变量的配置🔧,以及解决在 .bash_profile 中设置 OLLAMA_HOST 但不生效的问题。准备好了吗?让我们一起踏上这段充满曲折(但也充满乐趣🎉)的旅程吧!

🛠️ Ollama 的下载与安装

首先,您可以通过 Ollama 官网 或 GitHub 仓库来下载最新的版本。安装过程比较简单,但如果网络不好,下载过程会非常慢🐢。
下载完成后,您可能会问:“这货到底装好了没?” 别急😅,直接打开可执行文件即可。
如果一切顺利,打开终端💻,执行 ollama -h 能看到说明,就大功告成💪。

📦 下载和运行模型

使用 ollama pull 下载模型

一旦 Ollama 安装完成,您可以通过 ollama pull 命令来下载所需的模型。例如,下载一个名为 gemma2:9b 的模型,您只需在终端中输入以下命令:
这个命令会从 Ollama 的服务器中拉取该模型并下载到本地。

使用 ollama run 运行模型

下载完成后,您可以使用 ollama run 命令来运行模型。例如,运行我们刚刚下载的 gemma2:9b 模型,您可以输入:
这个命令会启动模型并等待您的输入,就像和一个 AI 伙伴聊天💬一样,方便又有趣😄。

直接按建议运行

在 ollama 的官网,找到一个模型,例如 gemma2:9b
在没有 pull 的情况下直接 ollama run gemma2:9b,会自动 pull 后再运行

⚙️ 配置环境变量

Ollama 本地部署需要设置一些环境变量,其中最重要的就是 OLLAMA_HOST,这个变量用于指定 Ollama 服务运行的主机地址。

🪟 Windows 下配置用户环境变量

在 Windows 系统中,您可以按照以下步骤来配置环境变量:
  1. 打开系统属性
    • 右键点击“此电脑”或“我的电脑”,选择“属性”。
    • 点击“高级系统设置”。
  1. 进入环境变量设置
    • 在“系统属性”窗口中,点击“环境变量”按钮。
  1. 添加用户变量
    • 在“用户变量”区域中,点击“新建”。
    • 在“变量名”中输入 OLLAMA_HOST,在“变量值”中输入 0.0.0.0:11434
    • 再次点击“新建”,在“变量名”中输入 OLLAMA_ORIGINS,在“变量值”中输入 *
    • 点击“确定”保存。
  1. 重启命令提示符
    • 为了使新的环境变量生效,您需要在任务栏中找到羊驼的标记(Ollama 图标),退出后重新打开软件。这样,新的环境变量就会生效啦!

🍎 macOS 下配置用户环境变量

在 macOS 中,您可以通过编辑 .bash_profile 文件来配置环境变量。步骤如下:
  1. 打开终端,输入以下命令来编辑 vi .bash_profile 文件:
  2. 在文件末尾添加以下内容:
  
  
  
  
  
  
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS="*"
OLLAMA_ORIGINS="*" 这个引号一定要加,经验证在 Intel 的 MAC 上不加会启动不了 ollama,但在 Apple 芯片上的 MAC 可以不加
保存并退出(按 Esc,然后输入 :wq 并按回车)。在任务栏中找到羊驼的标记,退出后重新打开软件。
注意:有用户反馈,即使按照上述步骤配置,环境变量仍然可能没有生效。官方尚未完全解决该问题。

🕒 临时方案:使用 launchctl

如果修改 .bash_profile 后环境变量仍未生效,您可以使用一个临时方案。在终端中输入以下命令来临时设置环境变量:
  
  
  
  
  
  
launchctl setenv OLLAMA_HOST 0.0.0.0:11434
launchctl setenv OLLAMA_ORIGINS *
然后,在任务栏中找到羊驼的标记,退出后重新打开软件。这些环境变量将在本次会话中生效,但不会永久保存,在系统注销关机后会失效,建议先保存这两句,以便下次再用

📝 小结

在本地部署 Ollama 时,正确配置环境变量是非常重要的一步。尤其是在 🍎 macOS 中,无法生效会让自己摸不着头脑,希望这篇文章能够帮您解开心中的疑惑🧩,让 Ollama 在您的 🍎 Mac 上顺利跑起来🏃‍♂️💨。如果您在配置过程中遇到什么奇葩的问题,或者有其他心得,欢迎在评论区吐槽或者分享🗣️!
部署的路上虽有波折,但请记住,折腾也是一种乐趣😜。祝大家愉快折腾,快乐部署!🚀

其它

————————————————
版权声明:本文为稀土掘金博主「夜起叶落」的原创文章
原文链接:https://juejin.cn/post/7421831962941358134
如有侵权,请联系千帆社区进行删除
评论
用户头像