最近,我接触了本地部署大模型,并将相关笔记整理成文。在比较了几种运行方式后,我发现在我尝试的方案中,Open-WebUI是最稳定的。不过,部署过程确实有一定门槛,我花了好几天才搞定,而且联网部分仍然不太稳定。尽管如此,瑕不掩瑜,DeepSeek的长文本总结功能让我受益匪浅。以前在公网大模型上无法解决的问题,在本地部署后都能完美解决。
我是一名70后,非程序员背景。写这篇文章的本意是抛砖引玉,希望能给朋友们提供一些思路。今天是大年初二,早上9点才开始写,所以时间比较紧张,文章中可能还存在不少错误,还请大家多多指正,多多包涵。
一、安装ollama
二、命令行运行ollama
按win键+r或者右键点击开始按钮选运行,在弹出框输入cmd回车确定,进入命令行模式

在命令行输入ollama list,可以看到目前没有大模型,同时也说明ollama安装成功了。

现在开始部署Deepseek大模型,可以在ollama官网的模型里选择,目前打开官网,排第一的模型就是 Deepseek,它有很多参数的模型可供选择,需要根据你的电脑具体配置进行下载,我有一台3060显卡12G显存的电脑,运行8B和14B都是可以的,现在演示用的是台老笔记本,没有独立显卡,试试1.5B的模型能不能跑,点击箭头4处的复制按钮。

在命令行处粘贴并回车运行,因为没有模型所以会先下载,但因网速会有不同的等待时间,有个小技巧,快下载完成的时候下载速度会掉的很慢,只有几十k,我会Ctrl+C终止,再执行一次运行命令,有很大概率会快很多,我这里就中断了一次再接着安装。安装完以后这个截屏就是已经部署成功,并已经开始运行了,直接问他是谁,虽然稍有点慢,但跑通了,毕竟我这i5的集成显卡笔记本10岁了。

可以看到这里的聊天方式是命令行式的,很多小伙伴对这种界面不太习惯,下面介绍几种大家熟悉的WebUI交互方式,即在网页里使用Deepseek。
三、谷歌插件page-assist UI
第一个推荐的是一款开源的谷歌插件,打开网址:https://github.com/n4ze3m/page-assist,点击图中的链接

为了更好的阅读体验,来飞书看吧:
https://equ6b4s3uk8.feishu.cn/docx/GftzdAijtoZWGUxJrKkcxAVZnVd
Comments on "几种本地部署Deepseek的方法" :