解答群友疑问,大模型本地部署耗时太长怎么办?

你好啊,我是雨飞,见字如面

01

任何问题,都有解决方案,找个懂的人问问。


昨天,群里的朋友问了一个问题,折腾了很久都没有搞定,截图如下:



作为一名优秀的少先队员,我们的首要目的肯定是解决群友的问题。在这里有一些前置知识,我们需要用到小学二年级的知识,去了解下 ollama 是个什么东西。这里,我们就假设大家都已经学习了 ollama 的基础知识,继续往下讲。


ollama 提供了可以在本地加载模型的方案,就是使用一个配置文件的方法。这样,我们可以使用阿里的 modelscope 去下载模型,由于 modelscope 是国内的网站,下载速度是杠杠的,一点也不用担心下载慢的问题。


下面,以通义千问 1.5 系列的 1.8B 模型为例,给大家介绍下如何下载这款模型。具体的网站和截图,我放在下面了,打开后会出现如下图所示的界面。


https://modelscope.cn/models/qwen/Qwen1.5-1.8B-Chat-GGUF



然后,在模型文件处,点击下载模型,就可以根据提示把模型下载到本地。当然,你也可以只点击每个模型的下载按钮,这样就只下载指定的模型,更节省时间。



下载完成后,需要启动 ollama,然后我们可以使用下面的命令去查看一个已经存在的模型镜像文件,以便后续的复制粘贴操作。


ollama show qwen:0.5b --modelfile


然后参考已经存在的镜像文件,去编写自己的镜像文件,只需要将下面 From 所在行的路径替换成自己的本地路径就可以其他的地方可以不需要修改。


# Modelfile generated by "ollama show"# To build a new Modelfile based on this, replace FROM with:# FROM qwen:0.5b
FROM /.ollama/models/blobs/sha256-fad2a06e4cc705c2fa8bec5477ddb00dc0c859ac184c34dcc5586663774161caTEMPLATE "{{ if .System }}<|im_start|>system{{ .System }}<|im_end|>{{ end }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant"PARAMETER stop <|im_start|>PARAMETER stop <|im_end|>


镜像文件的详细解释,可以看下面链接:

https://github.com/ollama/ollama/blob/main/docs/modelfile.md


镜像制作完成后,就可以使用下面的命令去创建模型,记得需要替换成指定自己镜像文件的地址。


ollama create qwen1.5-1.8b -f qwen1.5-1.8b.mf


成功调用模型。


ollama run qwen1.5-1.8b:latest


好啦,我写完了,欢迎点赞,留下你的名字,祝,万事顺利?。


❤️往期经典好文❤️


现在AI这么火,我有必要搞个副业吗?|咨询师日记 Vol.12

17999的张雪峰咨询费出不起,99的AI志愿填报可行吗?|咨询师日记Vol.11

200元可以定制一个本地RAG问答系统吗?|咨询师日记 Vol.10

让你买一块4090显卡的底层逻辑是什么?|咨询师日记 Vol.9

完全不懂代码,要去往全栈开发深耕吗?|咨询师日记 Vol.8

产品的定价逻辑?|咨询师日记 Vol.7

我想训练个大模型,该怎么做?|咨询师日记 Vol.6

买了好多星球该怎么利用??|咨询师日记 Vol.5

为什么不要一上来就学习提示词?|咨询师日记 Vol.4

AI太火了,我要不要报一门课?|咨询师日记 Vol.3

大四即将毕业,该考研还是工作还是搞搞副业?| 咨询师日记 Vol.2

程序员只想搞技术,怎么选择副业方向?| 咨询师日记 Vol.1



❤️交个朋友❤️


目前我致力于AI解决方案的咨询、落地以及AIGC培训,有这方面需求,可以加我备注「公众号」,可以免费给你咨询一次和AI相关的问题,并领取截图的资料一份



雨飞陪你玩赚AI」,在这里我会高频输出和AI工具,行业解决方案、副业变现项目等,也会有我自己的思考和认知,永久免费,欢迎你来围观。



你的每一个点赞,都是鼓励我进步的勇气,点个在看,加油吧,一起成长!



声明:文中含有雨飞的广告


「雨飞同行」这是雨飞的介绍(第7版,交个朋友,限时送福利)

请使用浏览器的分享功能分享到微信等