把 35B 大模型搬进边缘：AIBOX PRO 的「双异构」架构到底怎么玩

边缘计算人工智能RK3588大模型嵌入式把 35B 大模型搬进边缘AIBOX PRO 的「双异构」架构到底怎么玩最近在折腾边缘 AI 设备手上拿到一份 AIBOX PRO 的规格书。说实话现在宣称「能跑大模型」的盒子一抓一大把但大多是把一颗 SoC 硬撑散热和带宽一上来就露馅。AIBOX PRO 有意思的地方在于它的架构思路不是一颗芯片扛所有而是「主模组 副模组」分体式异构。这篇就基于规格书把它拆开聊聊。整机是 160×111×61mm 的全铝合金外壳灰黑色调正面除了电源键就是几颗状态指示灯工业风很足。内置风扇 导热壳体标称 7×24 不间断运行工作温度 -20℃~60℃。这个体积塞进机柜、挂在设备旁边都不会太占地方。为什么是「双异构」而不是「单芯片」传统边缘盒子AI 推理和视频处理挤在同一颗芯片上算力一紧张就互相抢资源。AIBOX PRO 把活儿拆了主模组Core-3588JD4 / Core-3576JD4负责任务调度和数据预处理——说白了就是「大脑」副模组专门负责 AI 推理的核心算力输出两者通过板载 PCIe 高速互联做模型并行、多任务协同。这套设计对机器人导航、多模态感知这类场景很实用感知和决策能分到不同模组上跑延迟压得住。主模组8K 编解码是硬实力主模组给了两个选项都带 6TOPS(INT8) 的 NPURK3588Core-3588JD4LPDDR4/LPDDR4x 最高 32GBeMMC 最高 256GB8K30fps 编解码。RK3576Core-3576JD4内存最高 16GBeMMC 最高 256GB4K60fps 编码、8K30fps 解码。我觉得 RK3588 版本更值得选——内置 VPU 直接扛 8K 视频编解码还能硬件加速图像缩放裁剪多通道 4K 视频流并行处理不占 NPU 的算力。对智能安防、交通管理这种多路视频场景这点很关键。副模组真正的大模型算力底座这才是重头戏。副模组走 M.2 M-KEY官方标配两种RK1828片内 5GB DRAM20TOPS(INT8)能流畅跑 7B 以内的大模型。后摩 LQ5048GB LPDDR5160TOPS(INT8)能流畅跑 35B 以内的大模型。划重点LQ50 用的是存算一体compute-in-memory设计。大模型推理的瓶颈往往不是峰值算力而是 DRAM 带宽——数据在算力和内存之间来回搬才是真正的耗时点。存算一体把计算贴近存储直接拉高 TPS、压低首帧延时。这一点我觉得是 LQ50 比单纯堆 TOPS 聪明的地方。存储扩展模型权重别卡在容量上跑 35B 模型光权重就好几十 GB本地存储得上 TB。AIBOX PRO 给了2 × M.2 M-KEY板内可扩 2260/2280 加速卡1 × M.2 M-KEY PCIe4.0 x4 NVMe 22801 × SATA3.0、1 × TF Card用户自己还能加装任意品牌 M.2 加速卡。对需要本地囤大模型权重、又不想上云的业务这套扩展能力很对路。接口说明工业场景的诚意边缘设备最后落地的都是接口。AIBOX PRO 给得挺全下面是规格书里整理出来的接口清单接口类型数量/规格说明DC 电源1×5.5×2.1mm12V/5A支持 9V~36V 宽压输入以太网2×RJ45千兆 1000MbpsUSB2×USB3.0 1×Type-C OTG 1×Type-C DebugUSB3.0 单口限流 1ADebug 口用于固件调试HDMI1×HDMI2.1最高 4K60Hz音频Line In Line Out3.5mm 耳机接口TF Card1本地存储扩展SIM Card1配合 4G/5G Mini PCIe 模块无线Wi-Fi 蓝牙 4G/5G2.4/5GHz Wi-Fi、BT5.24G/5G 通过 Mini PCIe 扩展按键电源键 升级键升级键用于固件烧录/Recovery天线2×Wi-Fi 天线 1×4G 天线-正面比较简洁主要是网口指示灯、电源指示灯、自定义指示灯和电源键。背面才是干活的地方双千兆、双 USB3.0、HDMI、凤凰端子座、DC 电源、音频、SIM 卡、TF 卡、两个 Type-C 以及三根天线座都集中在一侧布线很方便。凤凰端子座8Pin-3.5mm引脚定义凤凰端子座是工业场景最实用的部分之一引脚排列如下RS485_B | CAN_L | DI_COM | DO_COM RS485_A | CAN_H | DI | DORS485A/B 两线接 PLC、变频器、传感器等工业设备。CAN-FDCAN_H / CAN_L适合车载、机器人、运动控制总线。DI/DO2 路光耦隔离数字输入 2 路数字输出带公共端 DI_COM / DO_COM。RS485 和 CAN-FD 直接给到端子排做工业自动化、机器人控制基本不用转接板。这点对现场部署很省心。功耗和体积能进机柜才是真边缘尺寸 160×111×61mm全铝合金外壳 内置风扇标称 7×24 不间断运行工作温度 -20℃~60℃。功耗数据也实在12V 输入RK3588 1×RK1828典型 9.6W最大 16.8WRK3588 1×LQ50典型 8.4W最大 28.8WRK3576 1×RK1828典型 8.4W最大 10.8W满配双 RK1828 也就 22.8W 封顶。巴掌大的盒子塞进机柜、挂在设备上跑功耗和散热都不用太操心。写在最后坦白讲AIBOX PRO 最让我认可的不是某一项参数有多炸而是「主副模组 存算一体」这个思路把调度、视频、推理各归各位再针对性解决带宽和散热。对做机器人、智能安防、工业边缘推理的团队这种分体式架构比单芯片硬扛要舒服得多。如果你也在选边缘 AI 盒子建议别只盯 TOPS 数字多看看 PCIe 互联、存算一体和接口扩展——这些才是真实落地时最磨人的地方。下一篇打算聊聊副模组 LQ50 的实际部署体验感兴趣的可以关注一下。