架构

这一页把三层硬件与四层软件逐层展开,每一层都给出现在的可选清单、关键规格与数据口径。

大脑 · AI 算力感知 · 理解 · 规划K3 · 60 TOPS @INT4AX650N · 10.8 TOPS @INT8RK1828 · 20 TOPS @INT8小脑 · 实时控制步态 · 平衡 · 毫秒级闭环K3 / SoM260 · 2 实时核 + 3MB TCMA210 · RV64GCVUR-DP1000 / Titan本体 · 电机与连接关节驱动 · FOC 电流环 · 传感接入中科本原 · RV-FOCHPM5100 / HPM6E8YGD32V · CH32V · ESP32-C指令集底座 — RISC-V(RVA23)RVV · IME · AME · VME模型层VAD / YOLO · SLAM · ASR / TTSNav2 · Planning · VLA / WAMAI 框架层FlagOS · llama.cppTileLang · 厂商运行时操作系统层(大脑域)openKylin / Debian / UbuntuFedora / openEulerRTOS 层(小脑域)RT-Thread · rpmsg 双域联合发布:六家单位 · 开放接口 + 参考整机 + 兼容矩阵openKylin · Milk-V · 超睿科技 · 上海 OpenLoong · 进迭时空 · 苦芽科技
架构总览:三层硬件(大脑 / 小脑 / 本体)与右侧软件层(模型 / 框架 / 操作系统 / RTOS)共同建立在一套 RISC-V 指令集上。图为本项目自绘。

三层怎么分

三层的划分依据不是「谁更高级」,而是实时性:三层差三个数量级,因此必须用不同的软硬件形态来解决。

层实时性这一层负责什么现在可选的算力/主控
本体微秒级电流环关节驱动、FOC 控制、力位混合、传感接入、无线互联中科本原 RV-FOC · 先楫 HPM5100 / HPM6E8Y · 兆易 GD32V · 沁恒 CH32V / CH32M030 · 乐鑫 ESP32-C
小脑毫秒级控制闭环步态生成、平衡控制、关节总线通讯(CAN-FD / EtherCAT)、实时任务调度进迭时空 K3 / SoM260 · 知合 A210 · 超睿 UR-DP1000 / Milk-V Titan
大脑十毫秒级推理感知、理解、规划、多模态交互、本地大模型与 VLA 推理进迭时空 K3 · 爱芯元智 AX650N · 瑞芯微 RK1828

判断标准没有变: 我们关心的是「这一层能不能接进来、接进来能不能跑起来」,而不是跑分多高。性能由各芯片厂商在自己的层里优化。

本体层:电机与连接

关节是本体层的核心部件。一台人形机器人全身 14 个以上旋转关节,每个关节 = 电机 + 编码器 + 控制器板卡;RISC-V DSP 主控完成 FOC 控制、力位混合控制与振动抑制。

厂商型号关键规格数据口径
中科本原关节电机方案RISC-V DSP 架构驱动器,FOC 算子硬件化厂商资料
先楫半导体HPM5100RISC-V 400 MHz 混合信号 MCU,4×16 位 ADC(2 MSPS),单芯片一拖四厂商发布(2026-10-12)
先楫半导体HPM6E8Y机器人关节专用,1 μs 电流环厂商资料
兆易创新GD32V 系列2019 年首颗 RISC-V 内核 32 位通用 MCU(GD32VF103),配套 GD30DR8306 电机驱动平台厂商资料
沁恒微电子CH32V407青稞 RISC-V 内核,RVV 向量扩展,双 480 Mbps USB厂商资料
沁恒微电子CH32M030电机控制 MCU,双 N 预驱厂商资料
乐鑫科技ESP32-C 系列自研 RISC-V,Wi-Fi + BLE,出货十亿颗级厂商资料

小脑层:实时控制

关键设计是两域物理隔离:AI 计算域与实时控制域在同一颗芯片上并行,实时核跑 RTOS 负责关节闭环,AI 核跑 Linux 负责规划,互不抢占。

平台型号关键规格数据口径
进迭时空K3 / SoM2608 核 RISC-V 2.4 GHz,RVA23,IME;2 个独立实时核 + 3 MB TCM;10 路 CAN-FD + 4 路千兆以太网(EtherCAT / TSN);ROS 2 Humble / Jazzy 支持厂商文档
知合计算A2108 核 RV64GCV(4×C920 + 4×C908),NPU 12 TOPS@INT8;AGIROS + openEuler 全栈实机验证(机械臂视觉抓取)厂商规格书 + 社区适配公告
超睿科技UR-DP10008 核 2.0 GHz RV64GCBH,RVA22 合规、兼容 RVA23(除 V);Mini-ITX,PCIe Gen4 x16,64 GB DDR4 ECC,UEFI + ACPI厂商文档
Milk-VTitan与 UR-DP1000 同源的验证平台;2026-04 完成人形机器人半程马拉松(21.0975 km)厂商文档 + 公开报道

大脑层:本地 AI 算力

大脑层的组合方式有两种:一是用一颗 RISC-V AI CPU 同时承担实时与推理;二是在主控之外叠加 AI 协处理器(PCIe / USB 接入),做到算力与主控解耦升级。

平台型号关键规格数据口径
进迭时空K360 TOPS(INT4 稀疏峰值);AI 计算域与实时域并行厂商数据(TOPS 为峰值)
爱芯元智AX650N混合精度 NPU 43.2 TOPS@INT4 / 10.8 TOPS@INT8;8K ISP;整板功耗 < 8 W;适配 CLIP / SAM / DINOv2 / Qwen2 / DeepSeek R1厂商数据
瑞芯微RK18283×64 位 RISC-V 核(2 核带 128 位向量单元);NPU 20 TOPS@INT8;5 GB 片上 DRAM、1 TB/s 带宽;PCIe 2.1 / USB 3.0厂商数据

本团队实测(脚注)

在进迭时空 K3 真机(Bianbu 4.0.7,内核 6.18.3,2026-10-21 采集)上:1B VLM 24.09 t/s、24B MoE 12.00 t/s(均为 Q4_K_M、llama.cpp 官方 0.1.9、AI 核、8 线程);IME2 单核 970 GMAC/s、8 线程 5632 GMAC/s(厂商内核)。

这些数字只作为脚注与答疑材料,不作为本方案的主张:TOPS 是纸面峰值,可用吞吐取决于内存带宽、算子覆盖与线程调度。

指令集:有哪条用哪条

一套 ISA 贯穿三层,扩展按需取用:

扩展用途现状
RVV(矢量)通用向量计算,卷积/编解码等已在 K3 上跑通
IME(矩阵)矩阵乘加,Transformer 与 LLM 推理已在 K3 上跑通(单核与多线程均验证)
AME矩阵扩展的另一条路线FlagOS 侧实验性支持
VME面向向量/矩阵的进一步扩展随社区与芯片迭代

一个工程结论: 在 K3 上,RVV 展宽乘加单核约 31.94 GMAC/s,而 IME 的 vmadot 约 204 GMAC/s。这就是为什么矩阵扩展(IME / AME)是必选项而不是加分项——但我们把它写成工程判断,不写成对比卖点。

操作系统:五发行版 + 一个 RTOS

域系统承担什么
大脑域openKylin / Debian / Ubuntu / Fedora / openEulerAI 与机器人软件栈、ROS 2、容器与开发环境
小脑域RT-Thread实时任务调度、关节通讯(CAN-FD / EtherCAT)、传感接入

两域通过 rpmsg / 共享内存 / PCIe 协同;K3 的实时系统与 rpmsg 示例已开源。同一套 SDK 覆盖两个域,开发商沿用熟悉的开源生态,不绑定单一商业系统。

AI 框架层:三条路线并行

路线说明状态
FlagOS开源统一 AI 系统软件栈(智源研究院牵头):FlagGems / FlagScale / FlagCX / FlagPerf / FlagOS-Robo;RISC-V 已进官方路线图(RVV / IME / AME)18 家芯片厂商 · 32 款芯片 · 497 个高性能算子
llama.cpp社区路线,K3 平台原生编译(AI 核 + IME2),承载 YOLO 检测、VLM 本地推理与文本向量化已跑通
TileLang高性能算子的 Python 化编译方案,CPU 路径仍为标量实现,随社区迭代增强已验证
厂商定制运行时各芯片厂商优化的推理引擎与 SDK(如 SpaceMIT ORT EP),与前两条并存互补可插拔

工程实测(脚注)

ncnn 的原 int8 路径(vmacc)在 K3 上比 fp32 慢 4–9 倍;把 int8 权重在加载时反量化回 fp32、走成熟内核后,conv 密集主干快 2.9–9.2 倍(vgg16 9.2×、mobilenet 8.8×、resnet18 6.0×)。35 个模型里 8 个明显受益、20 个持平、7 个慢约 10%——这是分模型的选择,不是一刀切。

模型层:本地闭环的四类模型

类别模型在 K3 上的状态
感知VAD 语音活动检测 · YOLO 目标检测 · SLAM 建图定位 · RGBD / 激光已本地部署(rivision 仓库开源)
交互ASR(Whisper)· TTS · 多模态对话已本地部署(llama.cpp VLM + 向量化服务)
决策Nav2 自主导航(2D 激光 + RGBD)· 任务规划启动包开源,支持差速驱动机器人
具身VLA / WAM:RoboBrain 2.0 · Qwen-VL · π0.5 · GR00T N1.7分层组合验证中

VLA 实测(脚注)

同一台 K3 上:smolVLA 0.5B 每次 7.5 秒(ONNX,双相机 512×512);ACT 抓取每次 2.59 秒(int8);2B 以上的 VLA 单次推理超过 45 分钟(GO-1 实测 2705 秒),必须上 NPU。因此推荐的组合是 RoboBrain 做规划 + smolVLA 做执行 的分层方案。