Taobao3D 拓扑生成算法开源！让高保真 3D 更轻量

Taobao3D 是阿里巴巴淘宝 Meta 技术团队研发的 3D 大模型技术，旨在降低高质量 3D 商品的生产成本，推动电商 3D 商品的规模化供给。该技术支持商品的高保真 3D 建模，以及在手机、XR 设备等多终端上的实时渲染与交互，让用户能够更直观地了解商品细节，获得更具沉浸感的购物体验。

相比传统电商以图片和视频为主的商品表达方式，3D商品在展示形式与交互体验上更具优势。借助3D展示、AR试摆、3D广告等应用场景，3D商品能够帮助用户在线上更直观、真实地感知商品，助力提升转化率、延长停留时长并降低退货率。

在实际落地中，手淘对3D模型的资产体积、渲染性能与还原度提出了严格要求：为保障流畅的用户体验，3D模型需实现秒级加载，资产体积小于5 MB，渲染帧率高于40 fps；同时，还需准确还原商品的材质类型、纹理细节，确保视觉效果与实物保持高度一致。

然而，现有的3D重建与生成方案往往面临两大挑战：一是网格拓扑杂乱、面数多、模型体积大，且减面过程中几何细节损失严重；二是材质解耦困难、纹理细节易丢失，导致商品还原度不足。针对上述痛点，淘天集团Meta技术团队推出了两项行业领先的最新研究成果：3D原生网格生成模型TaoFlowForge与3D原生材质大模型TaoTex。前者聚焦轻量化、拓扑干净的网格生成，在精简网格的同时尽可能保留几何细节；后者着力突破材质精确解耦与纹理高频细节（文字&logo）还原难题。两者协同，实现分钟级3D资产建模，在保持高还原度的同时，将资产体积控制在5 MB以内，支持手淘等应用场景的秒级加载。

相关技术报告&代码同步开源

论文标题：TaoFlowForge: Progressive Native Mesh Generation via Cascaded Flow Matching

论文链接：https://arxiv.org/pdf/2609.37139

开源链接：https://github.com/alibaba/Taobao3D

论文标题：TaoTex: Boosting Texture Detail Fidelity For Native 3d Material Generation

论文链接：https://arxiv.org/pdf/2609.34934

项目链接：https://xchaowu.github.io/papers/taotex/index.html

TaoFlowForge:基于级联流匹配的

渐进式原生网格生成

自回归拓扑网格生成方法难以做到高效可控的复杂拓扑结构生成，当前公开的扩散模型生成方法也面临生成的整体结构不稳定、依赖繁重的后处理等问题。针对这一研究现状，淘天Meta技术团队提出了TaoFlowForge：一个面向原生生产级3D网格生成的基础模型。该模型采用三阶段渐进式原生网格生成方案，能够生成轻量、可编辑且拓扑干净的网格。我们已在技术报告中公开全部算法细节，并同步开放代码与模型权重，后续将持续迭代模型并发布更新。

TaoFlowForge生成的Mesh网格效果展示

▐ 现有原生网格生成方法的瓶颈

不同于基于连续场的隐式表示，原生网格生成直接操作顶点与面片(V,F)。现有方法主要可以分成两大主流技术路线：

第一种是自回归方法，参考大语言模型（LLM）的做法，将三维网格编码为一维长序列，在推理时逐token生成。该方法在前期探索阶段取得了良好的效果，但是瓶颈也逐渐显现：强行降维会导致空间信息不可逆丢失，模型只能“死记硬背”空间结构；且随着面数增加，面临“序列爆炸”带来的推理高耗时和高不稳定性。

第二种是最近受到广泛关注的扩散模型方法，这类方法的扩散过程在原生三维空间进行，保留了三维结构信息，但往往在顶点生成的稳定性上仍有不足，整体结构容易出现偏差；同时未将面片的法线朝向预测考虑进去，离不开繁琐的后处理过程。

▐ 顶点与拓扑分离的结构设计

TaoFlowForge方法流程图

针对现有方法存在的问题，淘天Meta技术团队提出了TaoFlowForge生成模型。在生成范式上，TaoFlowForge采用扩散模型直接进行原生网格建模。TaoFlowForge将整个生成过程分成三个阶段，前两个阶段定义为“顶点流”，专注于生成高精度、不失真的几何顶点集合V，第三阶段则定义为“拓扑流”，专门负责预测顶点之间的连接关系F以及顶点法向量。这种渐进式、分阶段的生成策略，有效降低了模型的端到端优化难度，显著提升了最终原生网格的拓扑纯净度与结构稳定性。

▐ 顶点流：“两步走”策略，解决八叉树的“误差累积”问题

为了让生成的 3D 模型“骨架”端正、细节丰富，TaoFlowForge在顶点生成上做了一个关键的设计决策：摒弃一步到位的连续生成，采用“由粗到精”的两阶段渐进式方案。这就好比一位雕塑大师，先用泥巴捏出大体轮廓（定型），再用雕刻刀精雕细琢（刻画细节）。

第一阶段：定骨架（全局塑形）

技术路径：TaoFlowForge采用了Trellis的结构设计，首先用DiT生成16^3分辨率的结构隐变量，随后通过 VAE 解码器一次性上采样，得到64^3分辨率的顶点占用体素（voxel）。

这一做法能很好的利用已有开源模型的强大先验信息，在低的分辨率下先把大的结构稳住，确保物体的轮廓正确。

第二阶段：雕细节（精细刻画）

技术路径：在得到64^3体素后，模型直接在原始坐标空间中进行三次连续上采样，最终提升至512^3的高分辨率，获取精准的量化顶点坐标。

为了把细节逼真度拉满，这三个层级的上采样过程分别由三个完全独立、各司其职的DiT模型来完成，而不是用一个统一的模型“一干到底”。

为什么这个设计更有优势？

虽然整体上依然遵循经典的八叉树上采样思想，但TaoFlowForge的核心优势在于解耦控制：通过将“整体骨架”与“微观细节”的控制约束剥离，缓解了八叉树在连续上采样中“一步错、步步错”的误差累积硬伤。最终带来的直接提升，就是模型在整体结构上的高稳定性与微观细节上的高还原度。

▐ 拓扑流：引入顶点法向量的融合拓扑编码

在确定了顶点位置V后，第三阶段的核心任务是预测顶点的连接关系F。为此，TaoFlowForge提出了一种融合了顶点连接关系与顶点法向量的拓扑编码VAE模型。

拓扑与物理属性的特征融合
该模型将每个顶点表征为一个高维特征向量，该向量同时编码了局部几何连接关系（Topology）与表面法向量（Normal）。

保持顶点位置的一步式推理
在推理阶段，算法在保持顶点空间位置V不变的前提下，直接预测出拓扑连接矩阵以及每个顶点的法向量。二者结合，即可得到结构完整、面片法向量确定的Mesh网格。

▐ 拓扑生成结果展示

TaoFlowForge现已完全开源，与其他开源模型对比的可视化结果如图所示。EdgeRunner方法是自回归模型网格生成方法的开源代表，LATO.2则是扩散模型网格生成方法的开源代表。从图中可以看出，TaoFlowForge产出的网格整体结构稳定性最优，细节最丰富，面片拓扑结构最干净。

与开源方法的效果对比

更多结果展示

更多可视化效果视频展示：

TaoTex: 高保真3D原生材质生成

TaoTex 生成的纹理材质展示

材质直接决定了3D资产的最终视觉呈现。原生3D材质虽具备全局一致性、无缝衔接及无投影伪影等天然优势，但目前在高频纹理的高保真重建上仍面临瓶颈，尤其在简单几何表面的文字与精细标识呈现上表现受限。针对这一行业痛点，我们推出了首个支持高频纹理重建的3D原生材质大模型TaoTex，攻克了细节还原难题，实现了物体表面文字、Logo及精密纹理的高保真生成。

▐ 为什么要原生3D材质？

当前3D纹理材质的生成主要分为两大技术路线：一是多视图生成结合表面投影，即将2D视角的纹理反向映射至几何表面；二是直接在3D空间中原生生成。其中，基于多视图投影的方法存在三项核心缺陷：

全局一致性较难保证：多视角生成的纹理在重叠视域内往往存在差异，反投影后极易引入鬼影，尤其是是在复杂纹理区域；
纹理融合难以无瑕：重叠区域的贴图拼接与混合难以做到完美过渡，在接缝处常有明显的融合瑕疵与缝隙；
几何与纹理对齐容错率低：投影方法对深度边缘的对齐精度要求极高，微小的几何误差即会导致严重的纹理拉伸、撕裂或视差断层。

相比之下，原生3D材质生成直接作用于三维表征，从机理上彻底规避了上述投影与多视角带来的固有缺陷。

▐ 原生3D材质的再次突破

现有原生3D材质方案仍存在明显局限：在几何特征显著的区域（绿框），模型可以借助形状线索，将输入图像中的纹理对应到三维表面；但在几何先验较弱甚至缺失的区域（如红框中的平整表面文字），则完全无法精准还原。为攻克这一难题，TaoTex 从数据构建、模型架构及训练策略三方面进行了全方位优化，率先在“几何平坦但纹理高频”这一区域的纹理生成上取得了关键突破。

类似“表面几何平坦但附带高频纹理”的特征在现实资产中极为普遍，典型如带有印刷图案与文字的服装、包装盒、日用品等。TaoTex的提出，使原生3D材质生成从理想化的几何模型走向复杂真实的现实资产，显著提升了该类模型的泛化能力与通用适用性。

更多案例关注 https://xchaowu.github.io/papers/taotex/index.html

▐ 领先行业的纹理材质重建效果

TaoTex同时支持单图和多图输入，相比行业现有方案，TaoTex 不仅能高精度重建复杂的文字与图案细节，在粗糙度、金属度等物理材质属性的预测上，同样展现出压倒性的综合优势。

在多视图重建任务中，TaoTex 能够精准还原各视角下的纹理细节，实现高度自然、无瑕的平滑过渡。

业务应用：提升购物体验

目前3D模型已经在手机淘宝、PC淘宝上线，3D资产大小小于5MB，支持手淘和PC淘宝秒级加载和实时交互渲染。利用3D的特性：空间感、交互性、冲击力，可以让消费者可以在家提前试用商品，更准确了解商品大小和尺寸，缩短“理解—比较—决策”的路径，提升购买信心；同时也可以让商品用更具表现力的内容呈现商品卖点，提升点击率，减少因信息不充分造成的售后成本。

团队介绍

本文作者方献泽、吴秀超、吕江靖，来自淘天集团-Meta技术团队，该团队在端侧智能、端云协同、商品三维重建、真人三维重建、3D引擎、企业级软件AI研发等方面有着深厚的技术积累，先后发布端侧推理引擎MNN、商品三维重建工具Object Drawer、Taobao3D大模型、3D真人数字人TaoAvatar、端云协同系统Walle等。团队在OSDI、MLSys、CVPR、ICCV、NeurIPS、TPAMI等顶级学术会议和期刊上发表多篇论文。欢迎对3D大模型、端侧引擎和端侧大模型、渲染引擎、AI研发等感兴趣的优秀人才加入，一起技术创新和应用探索。

¤ 拓展阅读 ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术 | 技术质量 | 数据算法