在手机上运行大模型 | 伦敦的雨小站

type

Post

status

Published

date

Feb 1, 2025

slug

⚠️提示

1.你需要一部性能较好的手机，否则推理速度可能不足

2.在手机上，大模型没有前端界面

3.不建议使用7b以上的模型

实操部分

安装termux

termux是一个安卓平台的命令行工具，可以让我们做一些原来做不到的事情

官方地址（国内直连较难）

https://github.com/termux/termux-app/releases

自有地址（施工中）

神秘链接

https://get.downkuai.com/api/down/mobile/140917

部署Ollma

什么是Ollma

Ollma是一个开源大模型的平台，借助Ollma，我们可以更简单的运行大模型

安装Ollma

首先安装proot-distro

再使用proot-distro安装debian

登录debian

拉取Ollma

打开Ollma

这里Ollma就安装完成了

安装大模型

前往Ollma

Ollama

Get up and running with large language models.

https://ollama.com/search

搜索你想要的模型，这里以Deepseek举例

复制它，粘贴运行就会触发拉取了，安装后会自动运行

再次运行

你需要重复一些步骤

这行取决于你刚刚复制的运行命令，这里用刚刚的命令举例

小结

从此，我们便成功的在手机端跑起来了大模型

但这样运行的大模型往往会吃到转译运行和手机系统对性能的限制，且鉴于手机端的算力也非常有限，所以实践上的意义不大

不过可以折腾折腾