架构
这一页把三层硬件与四层软件逐层展开,每一层都给出现在的可选清单、关键规格与数据口径。
三层怎么分
三层的划分依据不是「谁更高级」,而是实时性:三层差三个数量级,因此必须用不同的软硬件形态来解决。
| 层 | 实时性 | 这一层负责什么 | 现在可选的算力/主控 |
|---|---|---|---|
| 本体 | 微秒级电流环 | 关节驱动、FOC 控制、力位混合、传感接入、无线互联 | 中科本原 RV-FOC · 先楫 HPM5100 / HPM6E8Y · 兆易 GD32V · 沁恒 CH32V / CH32M030 · 乐鑫 ESP32-C |
| 小脑 | 毫秒级控制闭环 | 步态生成、平衡控制、关节总线通讯(CAN-FD / EtherCAT)、实时任务调度 | 进迭时空 K3 / SoM260 · 知合 A210 · 超睿 UR-DP1000 / Milk-V Titan |
| 大脑 | 十毫秒级推理 | 感知、理解、规划、多模态交互、本地大模型与 VLA 推理 | 进迭时空 K3 · 爱芯元智 AX650N · 瑞芯微 RK1828 |
判断标准没有变: 我们关心的是「这一层能不能接进来、接进来能不能跑起来」,而不是跑分多高。性能由各芯片厂商在自己的层里优化。
本体层:电机与连接
关节是本体层的核心部件。一台人形机器人全身 14 个以上旋转关节,每个关节 = 电机 + 编码器 + 控制器板卡;RISC-V DSP 主控完成 FOC 控制、力位混合控制与振动抑制。
| 厂商 | 型号 | 关键规格 | 数据口径 |
|---|---|---|---|
| 中科本原 | 关节电机方案 | RISC-V DSP 架构驱动器,FOC 算子硬件化 | 厂商资料 |
| 先楫半导体 | HPM5100 | RISC-V 400 MHz 混合信号 MCU,4×16 位 ADC(2 MSPS),单芯片一拖四 | 厂商发布(2026-10-12) |
| 先楫半导体 | HPM6E8Y | 机器人关节专用,1 μs 电流环 | 厂商资料 |
| 兆易创新 | GD32V 系列 | 2019 年首颗 RISC-V 内核 32 位通用 MCU(GD32VF103),配套 GD30DR8306 电机驱动平台 | 厂商资料 |
| 沁恒微电子 | CH32V407 | 青稞 RISC-V 内核,RVV 向量扩展,双 480 Mbps USB | 厂商资料 |
| 沁恒微电子 | CH32M030 | 电机控制 MCU,双 N 预驱 | 厂商资料 |
| 乐鑫科技 | ESP32-C 系列 | 自研 RISC-V,Wi-Fi + BLE,出货十亿颗级 | 厂商资料 |
小脑层:实时控制
关键设计是两域物理隔离:AI 计算域与实时控制域在同一颗芯片上并行,实时核跑 RTOS 负责关节闭环,AI 核跑 Linux 负责规划,互不抢占。
| 平台 | 型号 | 关键规格 | 数据口径 |
|---|---|---|---|
| 进迭时空 | K3 / SoM260 | 8 核 RISC-V 2.4 GHz,RVA23,IME;2 个独立实时核 + 3 MB TCM;10 路 CAN-FD + 4 路千兆以太网(EtherCAT / TSN);ROS 2 Humble / Jazzy 支持 | 厂商文档 |
| 知合计算 | A210 | 8 核 RV64GCV(4×C920 + 4×C908),NPU 12 TOPS@INT8;AGIROS + openEuler 全栈实机验证(机械臂视觉抓取) | 厂商规格书 + 社区适配公告 |
| 超睿科技 | UR-DP1000 | 8 核 2.0 GHz RV64GCBH,RVA22 合规、兼容 RVA23(除 V);Mini-ITX,PCIe Gen4 x16,64 GB DDR4 ECC,UEFI + ACPI | 厂商文档 |
| Milk-V | Titan | 与 UR-DP1000 同源的验证平台;2026-04 完成人形机器人半程马拉松(21.0975 km) | 厂商文档 + 公开报道 |
大脑层:本地 AI 算力
大脑层的组合方式有两种:一是用一颗 RISC-V AI CPU 同时承担实时与推理;二是在主控之外叠加 AI 协处理器(PCIe / USB 接入),做到算力与主控解耦升级。
| 平台 | 型号 | 关键规格 | 数据口径 |
|---|---|---|---|
| 进迭时空 | K3 | 60 TOPS(INT4 稀疏峰值);AI 计算域与实时域并行 | 厂商数据(TOPS 为峰值) |
| 爱芯元智 | AX650N | 混合精度 NPU 43.2 TOPS@INT4 / 10.8 TOPS@INT8;8K ISP;整板功耗 < 8 W;适配 CLIP / SAM / DINOv2 / Qwen2 / DeepSeek R1 | 厂商数据 |
| 瑞芯微 | RK1828 | 3×64 位 RISC-V 核(2 核带 128 位向量单元);NPU 20 TOPS@INT8;5 GB 片上 DRAM、1 TB/s 带宽;PCIe 2.1 / USB 3.0 | 厂商数据 |
本团队实测(脚注)
在进迭时空 K3 真机(Bianbu 4.0.7,内核 6.18.3,2026-10-21 采集)上:1B VLM 24.09 t/s、24B MoE 12.00 t/s(均为 Q4_K_M、llama.cpp 官方 0.1.9、AI 核、8 线程);IME2 单核 970 GMAC/s、8 线程 5632 GMAC/s(厂商内核)。
这些数字只作为脚注与答疑材料,不作为本方案的主张:TOPS 是纸面峰值,可用吞吐取决于内存带宽、算子覆盖与线程调度。
指令集:有哪条用哪条
一套 ISA 贯穿三层,扩展按需取用:
| 扩展 | 用途 | 现状 |
|---|---|---|
| RVV(矢量) | 通用向量计算,卷积/编解码等 | 已在 K3 上跑通 |
| IME(矩阵) | 矩阵乘加,Transformer 与 LLM 推理 | 已在 K3 上跑通(单核与多线程均验证) |
| AME | 矩阵扩展的另一条路线 | FlagOS 侧实验性支持 |
| VME | 面向向量/矩阵的进一步扩展 | 随社区与芯片迭代 |
一个工程结论: 在 K3 上,RVV 展宽乘加单核约 31.94 GMAC/s,而 IME 的 vmadot 约 204 GMAC/s。这就是为什么矩阵扩展(IME / AME)是必选项而不是加分项——但我们把它写成工程判断,不写成对比卖点。
操作系统:五发行版 + 一个 RTOS
| 域 | 系统 | 承担什么 |
|---|---|---|
| 大脑域 | openKylin / Debian / Ubuntu / Fedora / openEuler | AI 与机器人软件栈、ROS 2、容器与开发环境 |
| 小脑域 | RT-Thread | 实时任务调度、关节通讯(CAN-FD / EtherCAT)、传感接入 |
两域通过 rpmsg / 共享内存 / PCIe 协同;K3 的实时系统与 rpmsg 示例已开源。同一套 SDK 覆盖两个域,开发商沿用熟悉的开源生态,不绑定单一商业系统。
AI 框架层:三条路线并行
| 路线 | 说明 | 状态 |
|---|---|---|
| FlagOS | 开源统一 AI 系统软件栈(智源研究院牵头):FlagGems / FlagScale / FlagCX / FlagPerf / FlagOS-Robo;RISC-V 已进官方路线图(RVV / IME / AME) | 18 家芯片厂商 · 32 款芯片 · 497 个高性能算子 |
| llama.cpp | 社区路线,K3 平台原生编译(AI 核 + IME2),承载 YOLO 检测、VLM 本地推理与文本向量化 | 已跑通 |
| TileLang | 高性能算子的 Python 化编译方案,CPU 路径仍为标量实现,随社区迭代增强 | 已验证 |
| 厂商定制运行时 | 各芯片厂商优化的推理引擎与 SDK(如 SpaceMIT ORT EP),与前两条并存互补 | 可插拔 |
工程实测(脚注)
ncnn 的原 int8 路径(vmacc)在 K3 上比 fp32 慢 4–9 倍;把 int8 权重在加载时反量化回 fp32、走成熟内核后,conv 密集主干快 2.9–9.2 倍(vgg16 9.2×、mobilenet 8.8×、resnet18 6.0×)。35 个模型里 8 个明显受益、20 个持平、7 个慢约 10%——这是分模型的选择,不是一刀切。
模型层:本地闭环的四类模型
| 类别 | 模型 | 在 K3 上的状态 |
|---|---|---|
| 感知 | VAD 语音活动检测 · YOLO 目标检测 · SLAM 建图定位 · RGBD / 激光 | 已本地部署(rivision 仓库开源) |
| 交互 | ASR(Whisper)· TTS · 多模态对话 | 已本地部署(llama.cpp VLM + 向量化服务) |
| 决策 | Nav2 自主导航(2D 激光 + RGBD)· 任务规划 | 启动包开源,支持差速驱动机器人 |
| 具身 | VLA / WAM:RoboBrain 2.0 · Qwen-VL · π0.5 · GR00T N1.7 | 分层组合验证中 |
VLA 实测(脚注)
同一台 K3 上:smolVLA 0.5B 每次 7.5 秒(ONNX,双相机 512×512);ACT 抓取每次 2.59 秒(int8);2B 以上的 VLA 单次推理超过 45 分钟(GO-1 实测 2705 秒),必须上 NPU。因此推荐的组合是 RoboBrain 做规划 + smolVLA 做执行 的分层方案。