我要投稿

树莓派这种“玩具级”设备，真能跑大模型吗？

发布日期：2025-10-31 08:10:58 浏览次数： 1545

作者：通义大模型

微信搜一搜，关注“通义大模型”

👀 欢迎来到「端侧AI创新挑战赛」官方教程第三期！

在前两期中，我们带大家用 Ollama 在 PC 上零代码部署 Qwen3-0.6B，也深入探讨了 Android/iOS 设备上部署轻量级 Qwen 模型。

本期，我们将目光投向更“硬核”的嵌入式世界——在树莓派5上跑起 Qwen3，打造一台完全离线、自带屏幕与键盘的“AI小终端”。

无需联网、不依赖 Python、不用 llama.cpp，仅靠 C 语言实现，连路由器都能跑！

本教程所采用的方案源自社区开发者 BD4SUR 的个人项目 “电子鹦鹉 Nano”。

该项目基于 Andrej Karpathy 的开源项目 llama2.c 进行二次开发，新增了 I2C 键盘输入与 OLED 屏幕输出功能，属于学习与实验性质的原型实现，已通过 MIT 协议开源。

欢迎访问项目仓库（https://github.com/bd4sur/Nano）查看完整代码、模型文件及更多演示场景。

🟣方案具备以下特点：

完全离线的端侧推理，不依赖网络。
支持 Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、以及 BD4SUR 自主训练的 Nano-168M 语言模型。
完全由 C 语言实现，依赖极少，不依赖于 llama.cpp、vLLM 等第三方推理引擎，能够运行在树莓派、RK3588 甚至路由器等嵌入式Linux系统上。
在树莓派5代上，Qwen3-0.6B 的推理速度可以达到每秒8~12个词元。
通过九键输入法输入中英文文本。
暂时不支持多轮对话，只支持单轮对话（历史问答不会被输入到本轮输入的提示词中）。

如果你希望亲手体验“数据不出设备”的私有 AI 助手，不妨跟着本教程一步步操作。为了能够顺利部署，希望您具备一些前置知识，例如访问网络、电子制作、Linux 系统等等。

硬件准备

请根据以下清单准备所需材料：

树莓派5代：建议内存为 4GB 或以上，越大越好。并加装官方主动散热器以保障长时间推理的稳定性；
microSD 卡或者 SSD：用于安装系统和存放模型文件，建议容量不小于 16GB（若使用 NVMe SSD，可显著缩短模型加载时间）；
电源：推荐使用树莓派官方 5V5A 电源，避免因供电不足导致性能下降或系统不稳定；
OLED 屏幕：需为基于 SSD1309 芯片的 128×64 点阵 I2C 接口 OLED 显示屏；
矩阵键盘：I2C 接口，设备地址为 0x27，支持通过指令 0x03 轮询读取键码（无按键时返回键码 16）；
杜邦线若干：用于连接树莓派与 OLED、键盘模块；
显示器、键盘、鼠标（可选）：用于初始系统配置；也可通过 SSH 以“无头”方式远程操作。

按照以下图示，连接各个模块：

⚠️ 重要提示：切勿带电插拔模块。切勿接反或短路电源线和地线。避免导电物体接触裸露的电子模块，以防意外短路。建议操作前先通过洗手、触摸墙壁等方式释放身上的静电，或者戴防静电手环操作。

软件准备

🟣第一步：安装系统并配置基础环境

首先，按照树莓派官方文档

(https://www.raspberrypi.com/documentation/computers/getting-started.html) 说明，在电脑上下载树莓派系统烧录工具，将 Raspberry Pi OS (64-bit) 烧录进 microSD卡。建议使用树莓派官方系统，避免不必要的麻烦。（注：如果想减少模型加载的等待时间，可以使用 NVMe 的 SSD）

随后，将显示器、键盘、网线连接到树莓派，将烧录了操作系统的 microSD 卡插入插槽，确保所有模块按照上文说明正确连接，插入电源，树莓派应能自动启动。按照树莓派官方文档的说明，完成网络、账户密码等配置（下文使用的用户名为pi），进入 Raspberry Pi OS。

打开终端，执行 gcc --version，若未报错，则意味着编译工具链已成功安装，进入第二步。否则，执行以下命令，更新并安装必要软件：

sudo apt updatesudo apt install git build-essential

🟣第二步：启用并设置I2C端口

打开终端，执行：

sudo nano /boot/firmware/config.txt

编辑器打开后，在 config 文件中，将 dtparam=i2c_arm=off这一行改成以下内容，以启用 I2C 端口，并将其速率设置为 400kHz：

dtparam=i2c_arm=on,i2c_arm_baudrate=400000

保存并退出，随后执行 sudo reboot 重启树莓派。

重启之后，执行以下命令，检查能否正确识别OLED屏幕和矩阵键盘两个设备：

sudo i2cdetect 1 -y

如果显示的内容中有 27 和 3c （如下），说明树莓派已经识别到了两个 I2C 设备，其中 0x27 是矩阵键盘， 0x3c 是 OLED 屏幕。

     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f00:                         -- -- -- -- -- -- -- --10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --20: -- -- -- -- -- -- -- 27 -- -- -- -- -- -- -- --30: -- -- -- -- -- -- -- -- -- -- -- -- 3c -- -- --40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --70: -- -- -- -- -- -- -- --

🟣第三步：拉取代码并编译

首先，拉取代码仓库到本地，并进入代码目录：

# 假设当前用户名为picd /home/pigit clone https://github.com/bd4sur/Nano.gitcd Nano/nanochat

再将代码编译为可执行文件：

make -j4

编译完成后，在当前目录中会出现一个新的可执行文件 nanochat。

在执行程序之前，先从HuggingFace或者ModelScope下载转换好的模型文件，并将其放置于 model目录下（注：所有模型加起来大约将近7GB）。

# 进入模型目录cd model
# 从HuggingFace下载wget -c https://huggingface.co/bd4sur/Qwen3/resolve/main/qwen3-0b6-q80.binwget -c https://huggingface.co/bd4sur/Qwen3/resolve/main/qwen3-1b7-q80.binwget -c https://huggingface.co/bd4sur/Qwen3/resolve/main/qwen3-4b-instruct-2507-q80.binwget -c https://huggingface.co/bd4sur/Nano-168M/resolve/main/nano_168m_625000_sft_947000_q80.bin
# 或者从ModelScope下载wget -c https://modelscope.cn/models/bd4sur/qwen3_nano/resolve/master/qwen3-0b6-q80.binwget -c https://modelscope.cn/models/bd4sur/qwen3_nano/resolve/master/qwen3-1b7-q80.binwget -c https://modelscope.cn/models/bd4sur/qwen3_nano/resolve/master/qwen3-4b-instruct-2507-q80.binwget -c https://modelscope.cn/models/bd4sur/Nano-168M/resolve/master/nano_168m_625000_sft_947000_q80.bin