【从零开始】3. Ollama 接入开发工具（番外篇）
大模型开发/技术交流
- LLM
2024.12.02333看过
书接上回... UI 工程师的问题解决了，那么作为开发人员是否也应该拿点福利呢？
前段时间很火的 Cursor 编辑器就是一个基于 VsCode 的人工智能接入工具。当然了，别人接入的可是 GPT-4o，无论是准确度还是响应速度都堪称一绝。但是因为“墙”的原因，使用起来就非常麻烦了，而且也不利于团队内推广。
这时可能有小伙伴会说，这不简单吗，现在大把插件能够做到这种效果啦，下载开箱即用即可。
是的，这位小伙伴说得没错，的确有大量的插件能够达到跟 Cursor 一样的效果，但是大部分插件都是要收费的。有些没什么良心的就使用功能就收费（如 Tabnine），有些良心一点的就使用商用大模型接口时要收费，使用基础版就免费（如：CodeGTP、BitoAI 等）。
那既然我们已经有 Ollama 作为算力提供了，有没有插件能够远程访问 Ollama 来实现 AI 助手功能呢？
有，那就是 twinny。（其实也有像 continue 插件那样提供 Ollama 接入的，虽说只能本地接入模。而 cody 确实有提供远程 Ollama 接入，但是配置过于复杂因此没有选用）
下面我将采用 VsCode 来进行描述，IDEA 应该也有该插件的，但是毕竟 IDEA 不免费我就不细说了。
我们先使用 Ollama 下载 codellama 模型。由于只会使用 twinny 的提示和聊天功能，因此使用 7b 的模型也足够了（当然了，参数越大的模型出来的效果也就越好咯），如下图：
pai@pai:~$ ollama pull codellama:7b-instruct-q5_K_Mpulling manifestpulling dd56680910b3... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 GBpulling 8c17c2ebb0ea... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KBpulling 590d74a5569b... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KBpulling 2e0493f67d0c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 59 Bpulling 7f6a57943a88... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 120 Bpulling 1a0db1e0628c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 531 Bverifying sha256 digestwriting manifestsuccess
接下来就安装 twinny 插件
插件安装后通过点击侧边栏的“双头人”打开插件，之后点击“插头”就能够添加 Provider 了，如下图：
由于我使用的模型是 codellama，因此填写 Provider 时需将模型全称填写完整，如下图：
最起码要配置两个 Provider，一个是 chat，另一个是 fim（整个配置不存在难度就不细说了）。
填写完成之后点击插头左侧的图标就能够看到当前跟 Ollama 连接的状态，如下图：
之后你就能愉快地玩耍了。你可以直接在聊天窗口问他，如下图：
也可以在文件中直接说出你的需求然后让它帮你生成，如下图：
平常外面收钱的东西，现在免费喂到嘴边，你这不香吗？
（未完待续...）
————————————————
版权声明：本文为稀土掘金博主「Kida的技术小屋」的原创文章
原文链接：https://juejin.cn/post/7430152110712193035
如有侵权，请联系千帆社区进行删除
评论
