最近,我接触了本地部署大模型,并将相关笔记整理成文。在比较了几种运行方式后,我发现在我尝试的方案中,Open-WebUI是最稳定的。不过,部署过程确实有一定门槛,我花了好几天才搞定,而且联网部分仍然不太稳定。尽管如此,瑕不掩瑜,DeepSeek的长文本总结功能让我受益匪浅。以前在公网大模型上无法解决的问题,在本地部署后都能完美解决。

我是一名70后,非程序员背景。写这篇文章的本意是抛砖引玉,希望能给朋友们提供一些思路。今天是大年初二,早上9点才开始写,所以时间比较紧张,文章中可能还存在不少错误,还请大家多多指正,多多包涵。

一、安装ollama

二、命令行运行ollama

按win键+r或者右键点击开始按钮选运行,在弹出框输入cmd回车确定,进入命令行模式

在命令行输入ollama list,可以看到目前没有大模型,同时也说明ollama安装成功了。

现在开始部署Deepseek大模型,可以在ollama官网的模型里选择,目前打开官网,排第一的模型就是 Deepseek,它有很多参数的模型可供选择,需要根据你的电脑具体配置进行下载,我有一台3060显卡12G显存的电脑,运行8B和14B都是可以的,现在演示用的是台老笔记本,没有独立显卡,试试1.5B的模型能不能跑,点击箭头4处的复制按钮。

在命令行处粘贴并回车运行,因为没有模型所以会先下载,但因网速会有不同的等待时间,有个小技巧,快下载完成的时候下载速度会掉的很慢,只有几十k,我会Ctrl+C终止,再执行一次运行命令,有很大概率会快很多,我这里就中断了一次再接着安装。安装完以后这个截屏就是已经部署成功,并已经开始运行了,直接问他是谁,虽然稍有点慢,但跑通了,毕竟我这i5的集成显卡笔记本10岁了。

可以看到这里的聊天方式是命令行式的,很多小伙伴对这种界面不太习惯,下面介绍几种大家熟悉的WebUI交互方式,即在网页里使用Deepseek。

三、谷歌插件page-assist UI

第一个推荐的是一款开源的谷歌插件,打开网址:https://github.com/n4ze3m/page-assist,点击图中的链接

为了更好的阅读体验,来飞书看吧:

https://equ6b4s3uk8.feishu.cn/docx/GftzdAijtoZWGUxJrKkcxAVZnVd

Comments on "几种本地部署Deepseek的方法​" :

Leave a Reply

Your email address will not be published. Required fields are marked *

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长提供付款信息为您处理

源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认好 是您所需要的资源