高德λ₀：让人类为人形机器人"上课"，500 小时全身经验走向真实机器人

把箱子搬到房间另一端，要让身体完成多少次配合？

走近、站稳、弯腰、抓取、起身、转向，再带着箱子走向目标。双手、躯干与双腿，需要在整个过程中持续协调。对人来说，这是一次日常行动。对人形机器人来说，这是需要学习的全身能力。

如果能将人类在真实世界中的这些经验规模化记录下来，再转化为机器人可以学习的动作，机器人能力的成长就有了更丰富的数据来源。

我们发布λ₀：通过可规模化的第一视角全身人类数据采集与处理管线，训练人形机器人基座模型，让来自真实开放世界和任务中的人类经验参与机器人全身能力的形成。

围绕这条路径，我们提出了500小时 HumanVerse 数据集，验证了从人类示范到G1的零样本迁移，并进一步在仿真与真实机器人评测中取得领先表现。

图 1｜从 HumanVerse 人类数据、动作对齐到 λ₀ 训练与人形机器人控制。

视频 1｜项目主页 Demo片段

λ₀：

利用全身人类经验训练人形机器人基座模型

人形机器人要在真实环境里完成任务，需要同时处理移动、姿态与操作。

机器人全身示范能够提供直接的动作监督，但依赖设备、操作与任务复位，扩展到更多场景和任务的成本较高。现有第一视角人类监督又往往侧重手部与物体交互，对行走和姿态变化的覆盖不足。

λ₀的出发点，是把可规模化的人类交互经验，与人形机器人需要的全身协调连接起来。

我们采用三阶段训练，让模型逐步学习：

先学交互。 从七个第一视角人类数据集中学习物体交互与手部动作。
再学全身协调交互。 使用经过机器人对齐的 HumanVerse 数据进行中间训练，学习移动、身体姿态与双手操作的配合。
人形本体适配。 结合任务相关人类示范与机器人示范进行后训练，将所学经验适配到人形机器人。

部署时，模型根据机器人相机图像、语言指令和自身状态，预测全身运动与手部控制指令，由 SONIC 全身控制器执行身体运动。采集时使用的人体追踪设备，无需在部署时使用。

从人类经验中学习协调，再将协调能力落到真实机器人上，这是 λ₀ 的学习路径。

图 2｜λ₀ 三阶段训练：手部动作预训练、全身人类数据中间训练、机器人后训练。

HumanVerse：

记录人如何用全身与世界的真实交互

支撑这条学习路径，需要能够记录完整行动过程的数据。

我们提出 HumanVerse-500，一个包含 500 小时、在开放世界与开放任务下采集的无本体全身人类数据集，将第一视角视频与同步的身体、手部运动配对。

在 HumanVerse 中，一次交互包含着身体与环境的连续关系：

搬运物品时，行走与持续抓握相互配合。
整理低处物品时，站位、弯腰与伸手共同决定动作。
清洁台面时，身体移动与手部轨迹一起覆盖目标区域。
推动大型物品时，双手接触与全身位移持续协调。

第一视角视频保留物体与周围环境，身体运动记录位移与姿态，手部运动补充细致的操作信息。

模型由此学习：人在怎样的环境里，如何调动整个身体完成一次交互。

主页展示了 60 组数据样例，从整理桌面、搬运纸箱，到推车、清洁与收纳，呈现不同场景、物体与动作组合。

图 3｜HumanVerse 的采集设备、数据分布及同步视觉与动作样例。

无需机器人到场，

进入日常场景的数据

为了让数据能够持续扩大，我们将采集起点放在人身上。

采集者佩戴 GoPro 相机与 PICO 身体追踪设备，在日常环境中完成活动。相机记录第一视角画面，追踪系统记录身体运动，手部动作则从视频中重建，并与身体数据同步。

相机在采集时就匹配机器人视角与高度，为后续人机观测对齐提供基础。

采集现场无需机器人参与，让全身动作数据能够随人进入更多真实场景。

无需机器人到场，让全身动作采集更高效：在代表性任务的估算对比中，单条示范采集用时由约 100 秒缩短至 29 秒，约为原来的三分之一。

这让扩展场景与任务覆盖有了更灵活的采集方式，也为积累大规模全身人类数据提供支撑。

Report Figure 9｜任务表现与采集人力成本（report 第 10 页）。右图为每条示范的人秒投入，含摊销准备、校准与复位；与前述 100 秒 / 29 秒的汇总用时估算口径不同。

跨越人机差异：

无需目标机器人示范的七项任务上的迁移验证

数据采下来之后，还要让机器人用得上。

全身动作能够跟踪，不代表交互目标能够实现。人机形态差异会改变手脚的可达范围，控制器执行偏差则会进一步影响接触精度，让看似相似的动作偏离任务目标。

我们通过软硬件协同对齐观测与动作：采集端匹配相机视角，处理端缩小人机视觉差异；动作端由粗到细，依次校正人体参考、适配机器人形态，再结合控制器执行反馈优化实际接触。

目标是在保留人类全身协调的同时，让关键的物理接触适应机器人的身体与控制能力。

这套管线在 7 个任务上进行了验证，覆盖两类能力：

全身协调操作： 四个任务，平均任务进度 51.7%。
长程移动操作： 三个任务，平均任务进度 76.2%。

这些实验使用对应任务的人类示范训练策略，无需目标任务的机器人示范，即可在宇树 G1 上进行零样本迁移。

Report Figure 8｜七个任务中对齐人类示范的任务进度（report 第 10 页）。

主页提供了关抽屉、合上笔记本电脑、开冰箱、拉窗帘等对比演示，以及目标搬移、导航与脚部交互的长程任务展示。

图 4｜人体参考校正、机器人参考对齐与动力学感知优化。

视频 2｜人类示范：关抽屉

视频 3｜对齐后 G1 执行：关抽屉

视频 4｜未对齐执行对比：关抽屉

视频 5｜长程移动操作：将篮子放到目标位置

从迁移验证到实测表现：

λ₀ 在仿真与真机上取得领先表现

迁移实验验证了人类数据管线的可用性。进一步，我们用这类数据训练 λ₀，并通过机器人后训练评估完整模型的能力。

在四项真实机器人任务、每种方法共 40 次评测中，

λ₀ 完成 25 次任务，获得 62.5% 成功率；平均任务进度达到 80.4%。

Report Table 1｜四项真实机器人任务的完整对比结果（report 第 12 页）。

真实任务成功率较最强对比基线提升 22.5 个百分点，平均任务进度提升 25.8 个百分点。 两项指标分别与对应指标最强的外部基线比较。

在 SIMPLE 仿真基准中，λ₀ 的总体成功率达到 90.0%，覆盖六个核心任务、三个难度等级，共 180 次评测。在报告所评测的方法与任务范围内，λ₀ 取得 SOTA 表现。

Report Table 2｜SIMPLE 仿真基准完整结果（report 第 12 页）。

图 5｜机器人硬件、四项真实评测任务及物体设置。

视频 6｜真实机器人自主搬箱推理演示

更多全身人类经验，

λ₀ 在真机上得到清晰的 Scaling 收益

如果人类数据能够规模化采集，那么继续增加数据，是否还能带来收益？我们在保持机器人示范与后训练预算固定的条件下，改变全身人类中间训练数据规模，观察下游任务表现。

Report Figure 12｜全身人类中间训练数据比例与真实任务平均进度（report 第 13 页）。

随着全身人类数据增加，任务进度持续提升。 从不使用全身人类中间训练到使用完整数据，平均任务进度提高了 20.5 个百分点。

Report Figure 11｜不同全身人类数据规模下的验证损失曲线与趋势（report 第 12 页）。

更多全身人类经验，能让模型学得更好。 我们固定模型规模与训练步数，分别使用 5%、10%、25%、50% 和 100% 的全身人类训练数据。左侧曲线显示，数据较少时，验证损失更早触底，随后回升，出现过拟合迹象；增加数据后，模型能够持续学习更长时间，验证表现也更稳定。右侧进一步显示，随着数据从 5% 增至 100%，两组独立验证集上的最低损失分别下降 35.5% 和 40.6%。这一结果说明，在当前实验范围内，扩大全身人类数据规模能够持续改善模型对未参与训练数据的动作预测表现。

这种收益也体现在真实机器人任务中。 前面的 Figure 12 显示，在保持机器人示范与后训练预算固定的条件下，增加全身人类中间训练数据后，真实任务平均进度从不使用该阶段时的 59.9%，逐步提升至使用完整数据时的 80.4%。两组结果共同说明，数据规模带来的收益既体现在验证集上的预测表现，也体现在下游真实任务中。

训练阶段消融也显示，去掉全身人类中间训练后，真实任务成功率从完整训练的 62.5% 降至 22.5%，说明这一阶段对当前实验中的最终表现具有重要作用。

Report Table 3｜固定机器人监督下的训练阶段消融（report 第 13 页）。

这些结果支持我们继续探索：让更多可迁移的全身人类经验进入训练，能够成为提升人形机器人能力的一条路径。

总结

从可规模化的无本体采集，到 500 小时 HumanVerse；从人机观测与动作对齐，到 λ₀ 的三阶段训练，我们希望打通一条持续积累人类经验、提升人形机器人能力的路径。以上研究由高德和阿里ATH事业群共同完成。人的日常行动里，蕴藏着机器人值得学习的全身经验。λ₀ 希望让这些经验，成为机器人走向真实世界的能力基础。

欢迎查看技术报告、完整演示、代码与数据样例。

项目主页：https://lambdahumanoid.github.io/
技术报告：https://arxiv.org/abs/2610.18950
GitHub：https://github.com/LambdaHumanoid/openlambda
HumanVerse 数据样例：https://huggingface.co/datasets/lambda-humanoid/HumanVerse-500-sample

#λ₀ #具身智能 #人形机器人 #高德技术

高德ABot-Recon：基于局部相对位姿估计的万帧级长序列流式三维重建

END