大家好啊,我是雨飞。
01
什么是 Ollama?
最近在破局的航海中给大家做了直播分享,有很多船员问了这个问题。这里统一给大家解答下。
Ollama 是一个可以让我们在本地自己部署大模型的应用平台,官网地址如下:
https://ollama.com/
目前可以支持 window、mac、 linux多个平台进行安装,且只需要根据安装步骤就可以一键完成安装,十分方便。
Ollama 对硬件的要求相对比较低,如果只是7B 的模型,仅需要 8GB 的内存,使用 16GB 内存就可以启动 13B 的模型。截止到目前为止,支持 llama3、qwen2、Mistral、Gemma2 等主流的大语言模型。
Ollama 的底层是基于 llama.cpp 进行了二次的开发和封装,并提供了方便的命令行工具进行管理,大大提高了个人使用体验,降低了私人部署的难度。另外,Ollama 提供了OpenAI 格式的接口,可以被很多 webui 和桌面版工具所调用。
总的来说,Ollama 是一个多功能的工具,简化了大语言模型本地部署和管理的难度,使得我们业余爱好者和专业开发人员都可以轻松的使用这些大模型进行学习和工作。
好了,今天的这个知识点你掌握了嘛,学会了,欢迎点个赞呀。
你的每一个【点赞】,都是鼓励我进步的勇气,点个【在看】,加油吧!
❤️交个朋友❤️
目前我致力于AI工具拆解、AI解决方案的咨询、落地以及AIGC培训,
如果有相关问题,可以加我备注「公众号」,进行免费咨询,并领取我整理的AI学习资料和常用AI工具集。
部分资料截图: