随着 Qwen 系列模型的成熟发展与微型化趋势,没有专业技术背景的朋友,也可以在手机上部署自己的专属模型。
手机上部署成功之后,在没有网络的情况下,依然可以正常使用,解决了网络不稳定带来的不便,所有的推理服务,都在本地完成,会提升我们的创作效率。
本文将详细阐述如何在手机上完成一个轻量级 Qwen 模型的本地部署与实测。
一、部署模型
一)前置准备
PocketPal AI 是专为 iOS 和 Android 系统设计的开源 AI 助手,模型下载完成之后,无需连接互联网,就可以在手机上直接运行多种 AI 模型。
iOS 系统用户,打开 App Store,搜索 PocketPal AI,找到应用后点击下载并安装。
Android 用户,可以在 Google Play 商店中搜索 PocketPal AI 进行安装,如果无法访问 Google Play,可以在 GitHub 上下载最新的 Release 版本。
开源地址:https://github.com/a-ghorbani/pocketpal-ai/releases
下载 APK 文件后,需要在手机设置中授权“允许来自此来源的应用安装”,完成安装。

二、下载并以及加载 AI 模型
以 8G 运行内存的 Android 手机为例。
1、语言设置
安装后,界面默认为英文,软件支持设置中文语言。
点击左上角的菜单,进入 Settings,找到语言 Language 选项,将其切换为中文(ZH)。
2、下载模型
PocketPal AI 本身只是一个容器,核心功能需要下载 AI 模型后才能使用。首次使用时,需要连接网下载模型。软件默认提供了一些开源模型。

为了更好的阅读体验,来飞书看吧:
https://drwnsc5veu.feishu.cn/wiki/DWgKw9eooiHovAkeNKNc1znlnSf
Comments on "10 分钟手机部署 Qwen 模型 !!" :