本地部署 Ollama 引发的本地访问的一些问题
大模型开发/技术交流
- LLM
11月6日3125看过
在开始之前,先简单介绍一下 Ollama 是什么。可以这样理解,Ollama 和模型的关系就像是 Docker 🐳 和镜像的关系。Ollama 是一个管理和运行 AI 🤖 模型的平台,它帮助您更方便地部署和管理各种 AI 模型。而模型则是 Ollama 中具体的内容,就像 Docker 中的镜像一样。
在这篇文章中,我将分享如何在 🍎 Mac 上进行 Ollama 的本地部署,包括 Ollama 的下载⬇️、环境变量的配置🔧,以及解决在
.bash_profile
中设置 OLLAMA_HOST
但不生效的问题。准备好了吗?让我们一起踏上这段充满曲折(但也充满乐趣🎉)的旅程吧!
🛠️ Ollama 的下载与安装
首先,您可以通过 Ollama 官网 或 GitHub 仓库来下载最新的版本。安装过程比较简单,但如果网络不好,下载过程会非常慢🐢。
下载完成后,您可能会问:“这货到底装好了没?” 别急😅,直接打开可执行文件即可。
如果一切顺利,打开终端💻,执行
ollama -h
能看到说明,就大功告成💪。
📦 下载和运行模型
使用 ollama pull
下载模型
一旦 Ollama 安装完成,您可以通过
ollama pull
命令来下载所需的模型。例如,下载一个名为 gemma2:9b
的模型,您只需在终端中输入以下命令:
这个命令会从 Ollama 的服务器中拉取该模型并下载到本地。
使用 ollama run
运行模型
下载完成后,您可以使用
ollama run
命令来运行模型。例如,运行我们刚刚下载的 gemma2:9b
模型,您可以输入:
这个命令会启动模型并等待您的输入,就像和一个 AI 伙伴聊天💬一样,方便又有趣😄。
直接按建议运行
在 ollama 的官网,找到一个模型,例如 gemma2:9b
在没有 pull 的情况下直接
ollama run gemma2:9b
,会自动 pull 后再运行
⚙️ 配置环境变量
Ollama 本地部署需要设置一些环境变量,其中最重要的就是
OLLAMA_HOST
,这个变量用于指定 Ollama 服务运行的主机地址。
🪟 Windows 下配置用户环境变量
在 Windows 系统中,您可以按照以下步骤来配置环境变量:
-
打开系统属性
-
-
右键点击“此电脑”或“我的电脑”,选择“属性”。
-
点击“高级系统设置”。
-
-
进入环境变量设置
-
-
在“系统属性”窗口中,点击“环境变量”按钮。
-
-
添加用户变量
-
-
在“用户变量”区域中,点击“新建”。
-
在“变量名”中输入
OLLAMA_HOST
,在“变量值”中输入0.0.0.0:11434
。 -
再次点击“新建”,在“变量名”中输入
OLLAMA_ORIGINS
,在“变量值”中输入*
。 -
点击“确定”保存。
-
-
重启命令提示符
-
-
为了使新的环境变量生效,您需要在任务栏中找到羊驼的标记(Ollama 图标),退出后重新打开软件。这样,新的环境变量就会生效啦!
-
🍎 macOS 下配置用户环境变量
在 macOS 中,您可以通过编辑
.bash_profile
文件来配置环境变量。步骤如下:
-
打开终端,输入以下命令来编辑
vi .bash_profile
文件: -
在文件末尾添加以下内容:
export OLLAMA_HOST=0.0.0.0:11434export OLLAMA_ORIGINS="*"
OLLAMA_ORIGINS="*" 这个引号一定要加,经验证在 Intel 的 MAC 上不加会启动不了 ollama,但在 Apple 芯片上的 MAC 可以不加
保存并退出(按
Esc
,然后输入 :wq
并按回车)。在任务栏中找到羊驼的标记,退出后重新打开软件。
注意:有用户反馈,即使按照上述步骤配置,环境变量仍然可能没有生效。官方尚未完全解决该问题。
🕒 临时方案:使用 launchctl
如果修改
.bash_profile
后环境变量仍未生效,您可以使用一个临时方案。在终端中输入以下命令来临时设置环境变量:
launchctl setenv OLLAMA_HOST 0.0.0.0:11434launchctl setenv OLLAMA_ORIGINS *
然后,在任务栏中找到羊驼的标记,退出后重新打开软件。这些环境变量将在本次会话中生效,但不会永久保存,在系统注销关机后会失效,建议先保存这两句,以便下次再用
📝 小结
在本地部署 Ollama 时,正确配置环境变量是非常重要的一步。尤其是在 🍎 macOS 中,无法生效会让自己摸不着头脑,希望这篇文章能够帮您解开心中的疑惑🧩,让 Ollama 在您的 🍎 Mac 上顺利跑起来🏃♂️💨。如果您在配置过程中遇到什么奇葩的问题,或者有其他心得,欢迎在评论区吐槽或者分享🗣️!
部署的路上虽有波折,但请记住,折腾也是一种乐趣😜。祝大家愉快折腾,快乐部署!🚀
其它
————————————————
版权声明:本文为稀土掘金博主「夜起叶落」的原创文章
原文链接:https://juejin.cn/post/7421831962941358134
如有侵权,请联系千帆社区进行删除
评论