写在前面
对于想使用RAG,但又不想把文件资料上传的小伙伴来说,本地部署大模型,配合本地知识库一起食用,更香!
在正式开始部署之前,我们先定义一下具体使用场景:
在公司linux服务器部署大模型
同一局域网下,其他设备可调用服务器部署好的大模型。这样,公司里所有小伙伴都能用上你部署的大模型啦!
OK,开干!
一键部署
Ollama侧操作
下载Ollama
一键复制命令,在服务器run command下载Ollama:

下载所需模型
搜索-->选择所需模型-->一键复制命令-->在服务器终端run command-->等待模型下载完成

修改配置
这一步很关键,它可以让处于同一局域网下的其他设备调用服务器中已经部署好的大模型。
暂停Ollama服务
代码块 $ sudo systemctl stop ollama
修改配置文件
下面两种方法,二选一即可。
方法一:
代码块 $ sudo vim /etc/systemd/system/ollama.service
在配置文件的[Service]下加上这么两句:
为了更好的阅读体验,来飞书看吧:
https://u0e0v3xrqer.feishu.cn/wiki/SVlwwR9YDiCDVzkyRMCcDbjencg
Comments on "Ollama + Cherry Studio,2步搞定本地大模型部署" :