RK3588 能跑本地大模型吗？6TOPS NPU 上的量化 LLM 实测
「边缘盒子能不能跑大模型」已经从技术猎奇变成了真实采购需求：隐私敏感行业想要数据不出设备，无网环境需要本地智能。RK3588 作为边缘侧算力最强的通用 SoC 之一，实际能跑到什么程度？
实测：量化模型的真实表现
- 1.5-3B 量化模型（Q4）：CPU 推理 5-10 token/s，配合 NPU 厂商工具链可再提升，适合工单摘要、质检报告生成等低频文本任务；
- 0.5B 级小模型：交互级响应速度，可支撑离线问答、设备语音助手；
- 7B Q4：CPU 推理约 2-3 token/s，可用但不流畅——适合夜间批处理而非对话。
内存是第一道门槛
7B Q4 模型光权重就要 4GB 左右，8GB 内存机型才能从容运行；4GB 机型建议止步 3B 量化模型。这也是我们把 RK3588 边缘产品线主力内存拉到 4-8GB 的原因——迷你主机与01B 开发板均可按需配置。
选型建议：别拿边缘盒子当训练机
RK3588 的定位是「推理端点」：模型在云端/工作站训练，量化后下发到边缘持续推理。把 NPU 用满的典型架构是「小模型高频推理 + 大模型云端兜底」。如果你的场景是视觉类，YOLO 系列在 NPU 上跑 30fps+ 毫无压力，性价比远高于跑 LLM。
了解更多：RK3588 迷你主机、01B EDGE-RK3588 开发板。NPU 工具链与 SDK 见 Hugsun 文档中心；批量部署方案请联系我们。
