高德ABot-Recon：基于局部相对位姿估计的万帧级长序列流式三维重建

高德发布万帧级流式三维重建模型 ABot-Recon。模型使用固定 12 帧局部上下文，从连续 RGB 视频中在线估计相邻相对位姿与稠密局部几何，并通过在线组合构建完整相机轨迹和全局场景。模型权重、推理代码与评测代码现已开放，训练微调代码预计9月底开放。

•Project Page｜https://amap-cvlab.github.io/ABot-Recon-html/

•GitHub｜https://github.com/amap-cvlab/ABot-Recon

•ModelScope 在线体验｜https://modelscope.cn/studios/amap_cvlab/ABot-Recon/

1.长序列流式三维重建

流式三维重建以时间连续、长度未知的 RGB 视频为输入。系统需要在图像持续到来的同时，因果地输出相机轨迹与场景几何，并满足三个基本约束：当前预测不能依赖未来帧，单帧计算不能随序列长度持续增加，模型运行状态也不能无限扩张。

当视频只有几十帧时，许多前馈几何模型可以直接在一个窗口内联合恢复相机与场景；当序列增长到数千乃至数万帧，问题则变得困难。一方面，训练通常只覆盖有限长度，测试阶段不断扩大的时间跨度、空间距离与参考坐标可能进入训练分布之外；另一方面，局部位姿中很小的系统偏差会在反复组合后形成明显的全局漂移。

现有流式方法通常通过循环状态、关键帧、锚点上下文、KV cache 或多层长程记忆保留历史信息。这些设计能够增强长期约束，但同时引入了状态更新、压缩、淘汰和融合等额外问题。ABot-Recon 从另一个角度处理长度外推：不要求模型维持不断扩展的全局参考，而是重新定义每一帧的预测目标，使其始终处于固定的局部范围内。

无论系统已经处理 100 帧还是 10,000 帧， ABot-Recon 面对的仍是同一种局部几何与相邻运动估计任务。

2.局部位姿估计与在线组合

2.1 与序列长度解耦的参数化

在基于全局锚点重建的方法中，当前帧通常需要相对于某个固定参考或长期状态预测位姿。随着视频推进，当前视角与参考之间的时间间隔、空间距离和外观差异持续扩大，网络的输入输出关系可能逐渐偏离训练阶段见过的分布。

Amap ABot-Recon 将模型的学习单元限制为两类局部量：

1在当前相机坐标系中预测稠密局部点图及对应置信度；

2预测当前帧相对于上一帧的相邻相对位姿 T(i−1←i)。

全局相机轨迹由相邻变换在线连乘得到，局部点图再依据组合后的相机位姿变换至统一坐标系。这样，网络不需要直接回归相对于遥远参考帧的绝对位姿，第 100 帧与第 10,000 帧对应的是相同形式的局部预测问题。

图｜ABot-Recon 方法流程

2.2 固定局部上下文

模型骨干交替使用帧内注意力与窗口化因果跨帧注意力聚合特征。局部窗口固定为 K = 12，即当前帧和此前 11 帧的 KV 特征；超出窗口的缓存被及时释放。因此，学习状态的时间内存复杂度为 O(K)。当 K 固定时，模型侧缓存不随视频总长度增长，整段视频的计算量随输入帧数近似线性增加。 在存在可靠重访时，系统还可以接入独立的回环与位姿图优化后端。模型负责固定范围内的局部估计，在线组合负责构建全局结果，可选后端则提供稀疏的全局校正。然而，上述方案消除了网络预测目标对已处理序列长度的直接依赖，但不会自动消除漂移。相邻位姿的微小偏差仍会沿组合链传播，因此长序列稳定性还取决于如何控制局部误差及其累积方式。

3. 面向长距离约束的误差控制

3.1 运动—视觉上下文旋转精修

对于长距离轨迹，微小旋转误差会持续改变后续行进方向，这通常比同等幅度的平移误差更容易破坏整体轨迹形状。ABot-Recon 因此引入轻量旋转精修模块：从相邻 camera tokens 中编码运动证据，从稠密 frame tokens 中学习与当前帧对相关的空间视觉证据，在固定因果窗口内通过 gated TCN 聚合，并输出一个 SO(3) 旋转残差，对原始相邻旋转进行小幅修正。

该模块只增加约 4.75M 参数，约占完整模型的 0.48%。它不是长期记忆或全局 SLAM 后端，而是一个作用于局部估计的有界残差修正器。消融实验中，加入该模块后，KITTI、Oxford Spires 和 VBR 的平均 ATE 分别进一步下降 18.2%、26.9% 和 18.0%。

3.2 距离感知的多步位姿监督

仅监督 gap = 1 的相邻变换，只能约束每一步是否接近真值，却不容易识别“每一步都略微偏向同一方向”的系统误差。ABot-Recon 在训练中显式组合不同时间跨度的相邻位姿，并将多步组合结果与相应真值比较。更长跨度的组合链获得更高权重，使模型在训练阶段就能观察局部误差经过连续组合后的结果。

在 32 帧基线中加入组合感知监督后，KITTI 平均 ATE 从 56.60 m 降至 27.66 m，Oxford Spires 从 10.16 m 降至 9.40 m，VBR 从 52.90 m 降至 44.72 m。该目标与最终推理过程保持一致：模型输出相邻变换，而系统真正使用的是这些变换的连续乘积。

3.3 长训练片段与固定推理窗口

第二阶段训练将 clip 从 32 帧扩展到 128 帧，但推理窗口仍固定为 12 帧。更长的训练片段并不是为了学习一个依赖序列长度的长期状态，而是在单个训练样本中提供更多连续相邻 pair、更完整的组合链和更丰富的局部运动模式，同时减少 clip 边界带来的监督中断。

因此，128 帧训练与固定局部推理并不矛盾：前者提高连续局部监督和组合监督的密度，后者保证测试阶段的预测目标与模型状态规模不随视频总长度改变。

4. 实验设置

技术报告从相机位姿估计和稠密三维重建两个方面评估 ABot-Recon。相机位姿实验使用 KITTI、Oxford Spires 和 VBR；稠密重建实验使用 7Scenes、TUM-Dynamic 和 Oxford Spires。

所有相机位姿实验均按时间顺序、stride 1 处理完整序列，并使用 Umeyama Sim(3) 将预测轨迹与真值对齐。评价指标包括绝对轨迹误差 ATE、旋转相对位姿误差 RPE-R 和平移相对位姿误差 RPE-T。ATE 衡量完整轨迹的全局一致性，RPE-R 和 RPE-T 用于诊断局部旋转与平移估计误差。

无回环结果用于评估学习型流式骨干本身；回环结果单独报告，用于衡量可靠重访带来的稀疏全局校正收益。

5. 长序列相机位姿估计

5.1 完整序列精度

在统一的无回环、逐帧流式协议下，ABot-Recon 在三个评测集上呈现出不同但一致的结果特征：

•KITTI：平均 ATE 为 18.25 m，RPE-R / RPE-T 为 0.10° / 0.10 m；LingBot-Map 与 HorizonStream 的平均 ATE 分别为 29.13 m 和 22.51 m。

•Oxford Spires：平均 ATE 为 4.35 m，RPE-R / RPE-T 为 0.12° / 0.02 m。在报告比较的无回环流式方法中，ABot-Recon 取得最低 ATE 和最低局部位姿误差。

•VBR：平均 ATE 为 30.14 m，与 LingBot-Map 的 29.45 m 和 HorizonStream 的 29.02 m 接近；RPE-R / RPE-T 为 0.60° / 0.04 m，与 HorizonStream 相当，并明显低于 LingBot-Map 的 4.42° / 2.70 m。

图｜三种流式路线在统一协议下的比较

这些结果支持一个有限而明确的结论：固定局部上下文并未使模型在长序列轨迹精度上失去竞争力。KITTI 与 Oxford Spires 上的 ATE 优势同时伴随较低的 RPE，说明全局轨迹改善有稳定的局部运动估计作为基础；VBR 包含更长、采集条件更多样的序列，ABot-Recon 的 ATE 与最佳结果接近，局部位姿误差保持在同一水平。

启用独立的可选回环后端后，KITTI、Oxford Spires 和 VBR 的平均 ATE 分别进一步降至 13.49 m、4.02 m 和 9.99 m。回环主要利用稀疏重访修正累计的全局偏差，不改变基础模型只使用固定 12 帧上下文的事实。

图｜代表性序列轨迹对比

5.2 局部误差随序列长度的变化

完整序列 ATE 反映最终轨迹的全局偏差，但不能说明局部估计是否随着系统运行时间增加而逐渐退化。为此，技术报告在 4,661 帧 KITTI-02 上统计从序列起点到当前帧的 gap = 1 相邻位姿运行 RMSE。

ABot-Recon 的相邻旋转和平移误差在序列早期稳定后保持低位，没有随已处理帧数持续抬升。这一结果与局部参数化的设计预期一致：随着视频增长，网络面对的相邻运动估计任务没有因为“已经运行得更久”而发生明显恶化。该实验反映的是局部预测质量随时间的变化，不等同于证明全局轨迹不存在累计漂移。

图｜KITTI-02 随处理帧数变化的相邻位姿运行误差

5.3 多步组合稳定性

稳定的 gap = 1 误差仍不足以保证长程组合可靠。技术报告进一步将时间跨度从 1 帧扩展到 512 帧，汇总 KITTI 00–10 中满足对应 gap 的帧对，计算多步组合后的 RPE。

ABot-Recon 在各个跨度上均获得最低的平均旋转和平移误差，且误差随组合跨度增长更慢。running gap = 1 RPE 回答“局部预测是否随运行时间退化”，multi-gap RPE 则回答“局部误差经过更长组合后如何增长”。后者直接对应组合感知位姿监督所优化的问题。

图｜从 1 帧到 512 帧的多步组合误差

5.4 真实长视频与多平台输入

除公开评测集外，ABot-Recon 还在多种真实设备和场景上进行长视频测试。望京道路序列包含 48,656 帧、8.6 公里、27 分钟连续视频；其他案例包括武汉校园 8.8 公里 / 14,338 帧、北京道路 48 公里 / 14,509 帧和浙江校园 11.3 公里 / 11,942 帧，并覆盖手持室内采集与四足机器人低视角移动。

图｜长序列、多平台重建案例

这些案例用于观察模型在不同场景尺度、相机平台和运动模式下持续输出轨迹与局部几何的能力。图中超长案例启用了可选回环，用于在检测到可靠重访时校正全局轨迹。

6. 稠密三维重建

除相机轨迹之外，流式系统还需要恢复沿途环境的三维几何。ABot-Recon 在当前相机坐标系中预测稠密局部点图及置信度，再依据估计轨迹将其在线变换到全局坐标系。这种表示使单帧几何预测保持局部，同时允许系统持续扩展全局场景。

在 Oxford Spires 大尺度室外场景中，ABot-Recon 达到 CD 1.37 m、F1 91.81%，在技术报告所比较的方法中取得最低 CD 和最高 F1；LingBot-Map 为 1.68 m / 90.58%，HorizonStream 为 2.00 m / 84.69%。定性结果也显示，模型能够在长轨迹下保持道路、建筑立面和局部结构的连续性。

图｜稠密三维重建定性对比

在空间紧凑、重访频繁、视觉重叠较高的 7Scenes 和 TUM-Dynamic 上 ABot-Recon 保持了有竞争力的重建质量，但并非所有指标最佳。这一现象给出了方法的适用边界：在小型空间中，早期几何可能长期保持相关，持久场景状态或锚点机制更容易发挥作用。 ABot-Recon 的优势主要集中在时间连续、空间范围持续扩展的长视频流，而不是证明长期信息在所有场景中都不重要。

7. 计算效率与系统边界

7.1 流式吞吐与显存

技术报告在单张 NVIDIA H100、完整 4,661 帧 KITTI-02、504×280 输入上测试流式效率。所有输入帧预加载至 GPU，统计模型 forward 与状态更新时间，不包含图像加载、预处理和输入序列存储。

在这一协议下，ABot-Recon 达到 24.45 FPS 流式吞吐和 6.71 GB 峰值 GPU 显存。它不是对比中绝对最高吞吐或最低显存的方法，其特点是在无回环长序列精度、逐帧速度和模型状态开销之间取得较均衡的结果。相较 LingBot-Map，其吞吐约提高 24%，峰值显存减少约 64%；相较 HorizonStream，吞吐约为 3 倍，峰值显存减少约 49%。

图｜精度、吞吐与显存对比

7.2 适用范围

ABot-Recon 主要面向时间连续、相邻帧具有足够视觉重叠的视频流。局部估计降低了预测目标对总序列长度的依赖，但不会从数学上消除累计漂移；旋转精修和组合感知监督用于减弱系统性局部偏差，可靠重访条件下仍可使用回环和位姿图优化提供全局校正。进一步接入语义、地图表示、导航或世界模型是后续持续探索的方向。

总结

ABot-Recon 将长序列流式三维重建表述为固定局部范围内的几何与相邻运动预测，再通过在线组合形成完整轨迹和全局场景。运动—视觉上下文旋转精修与组合感知监督分别从估计模块和训练目标两侧控制长期组合误差。实验表明，固定 12 帧局部上下文能够在长序列轨迹精度、稠密几何、推理吞吐与模型状态开销之间形成有竞争力的平衡。模型权重、推理代码和评测代码已经开放，训练微调代码计划于 2026 年 9 月 30 日前发布。

•Project Page｜https://amap-cvlab.github.io/ABot-Recon-html/

•GitHub｜https://github.com/amap-cvlab/ABot-Recon

•ModelScope 在线体验｜https://modelscope.cn/studios/amap_cvlab/ABot-Recon/

#高德# #高德技术# #三维重建# #计算机视觉#