人形机器人驾驶卡丁车的新突破

• 2026-08-18
• 资讯中心

画面中，一台人形机器人压低身躯，把四肢挤进卡丁车狭窄的座舱，然后驶上赛道。它凭借视觉判断前方弯道，右脚踩油门、左脚操控刹车，手握方向盘调整行进方向。到达终点时，车辆猛地甩尾，原地完成了一圈漂移，整套动作看起来颇有“机器人车手”的架势。

但这段演示想说明的，远不止花哨的漂移动作。核心问题是：机器人不仅要“看懂”弯道，还要把这种感知快速转化为全身各关节的连续动作。为此，团队提出了 Direct Perception Control（简称 DPC）的思路：跳过传统需要独立 Whole-Body Tracker 的中间运动表征，让模型在接收画面、任务指令和身体状态反馈的同时，直接输出关节与手部目标指令。为训练这一体系，团队整理并使用了约 15,010 小时的具身数据。

为什么把卡丁车当作考场？一方面是上车动作本身就不容易：卡丁车座舱低矮、空间狭窄，机器人必须压低躯干、重新安排髋关节、膝关节与四肢的位置，同时还要为双手预留握方向盘的空间。另一方面，驾驶过程中要求上肢与下肢连续配合：视觉判断弯道、双手转向、右脚加速、左脚制动，随着速度和转向变化，身体收到的力学反馈也在变，下一步动作必须立刻跟上。

这恰好暴露了传统人形机器人控制的一大难题：把“知道要做什么”的模型和“把身体做出来”的控制器，分成两层后，会产生哪些限制？常见做法是高层负责语义推理与策略生成，低层负责高速的运动追踪与稳定化，两者通过一层运动接口（Motion Interface）对接。这种分层架构固然成熟，但也带来信息流失与训练割裂的问题。上层生成的 motion goal 描述了大致姿态，但生成最终关节目标时，低层还必须结合当前接触、平衡与动力学条件进行映射——同一类潜在运动意图在不同身体状态下，可能对应显著不同的关节动作。

此外，若上层（Latent Policy）与下层（Whole-Body Tracker或System 0）各自独立训练，部署时才拼接起来，低层在实际执行中产生的误差或环境变化无法反向影响上层策略；相反，上层的新增任务也受限于低层已学到的动作先验。例如，低层如果主要见过行走数据，那么在狭窄座舱内重排全身姿态、或要求持续上肢下肢协同的驾驶动作，可能会超出其训练覆盖范围，导致能力无法自然扩展。

一些现有系统也把视觉与身体状态作为输入，但仍保留分层策略：先预测全身动作潜变量，再交由底层控制器追踪执行，或将上下肢解耦分别生成指令。与之不同的是，DPC直接把训练目标设为 Joint Target，在学习关节动作时始终参考任务信息和实时身体反馈，试图在一个联合训练的框架内把认知理解与全身控制同步优化，从而缩短从“看懂”到“做出”之间的路径。

总之，这次用卡丁车演示的工作，展示了把感知、任务意图与关节级控制更紧密结合的可能性：通过大量具身数据和直接面向关节目标的训练，机器人能够在连续运动中更快地把视觉判断转化为协调的全身动作，这对提升人形机器人在复杂、狭窄和动力学耦合强的真实任务中的表现具有重要意义。