写在前面

对于想使用RAG,但又不想把文件资料上传的小伙伴来说,本地部署大模型,配合本地知识库一起食用,更香!

在正式开始部署之前,我们先定义一下具体使用场景:

在公司linux服务器部署大模型

同一局域网下,其他设备可调用服务器部署好的大模型。这样,公司里所有小伙伴都能用上你部署的大模型啦!

OK,开干!

一键部署

Ollama侧操作

下载Ollama

一键复制命令,在服务器run command下载Ollama:

下载所需模型

搜索-->选择所需模型-->一键复制命令-->在服务器终端run command-->等待模型下载完成

修改配置

这一步很关键,它可以让处于同一局域网下的其他设备调用服务器中已经部署好的大模型。

暂停Ollama服务

代码块 $ sudo systemctl stop ollama

修改配置文件

下面两种方法,二选一即可。

方法一:

代码块 $ sudo vim /etc/systemd/system/ollama.service

在配置文件的[Service]下加上这么两句:

为了更好的阅读体验,来飞书看吧:

https://u0e0v3xrqer.feishu.cn/wiki/SVlwwR9YDiCDVzkyRMCcDbjencg

Comments on "Ollama + Cherry Studio,2步搞定本地大模型部署​" :

Leave a Reply

Your email address will not be published. Required fields are marked *

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长提供付款信息为您处理

源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认好 是您所需要的资源