EMNLP 2026｜京东零售 AI Infra 团队提出分离式多模态训练框架 FlowTrain

本文导读

近日，京东零售 AI Infra 团队围绕多模态大模型训练效率提升，提出 FlowTrain 分离式训练框架，并在国产芯片超节点上完成实验验证。FlowTrain 面向视觉语言模型训练中 encoder 与 LLM backbone 同步等待、资源利用率低、变长样本负载不均等核心挑战，提出流式解耦训练范式。依托超节点的高带宽互联、跨设备数据访问和集群训练能力，FlowTrain 在真实工业负载下实现超过 50% MFU，并获得最高 1.7 倍吞吐提升，为自主创新 AI 算力底座上的多模态大模型训练提供了新的技术路径。

基于本工作的论文已被 EMNLP 2026 Industry Track 接收，欢迎阅读交流。

· 论文：FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models

· 链接：https://arxiv.org/pdf/2606.23087

背景与挑战

多模态大模型正在成为智能零售、内容理解、智能客服、工业质检等场景的重要技术底座。与纯文本大模型相比，多模态训练需要同时处理图像、文本、视频等异构输入，训练链路中通常包含视觉 encoder、投影层、LLM backbone 等多个模块。不同模块的计算形态、并行方式和资源需求差异显著，给训练系统带来了新的效率瓶颈。在传统训练框架中，多模态样本通常以固定 batch 方式组织。encoder 需要先完成图像或视频特征提取，再将 embedding 交给 LLM backbone 继续训练。由于样本分辨率、图像数量、文本长度差异较大，不同 microbatch 的处理耗时波动明显，容易造成以下问题：

Batch 级同步等待明显：encoder 和 backbone 被固定 batch 边界绑定，快的一侧需要等待慢的一侧，导致算力空转。
异构模块并行策略难以统一：encoder 更适合轻量化 DP/TP 组合，LLM backbone 则通常需要 DP/TP/PP 等复合并行。如果所有模块采用统一并行策略，会造成资源错配。
变长多模态样本导致负载不均：padding 浪费、attention计算差异、pipeline stage 负载不均，会进一步拉低集群整体 MFU。

针对上述挑战，京东零售 AI Infra 团队提出 FlowTrain 框架，将多模态训练从传统的“同步 pipeline”重构为“生产者—消费者数据流”，FlowTrain包括三个核心亮点。Unified Memory Pool：通过统一内存池打破 encoder 与 backbone 的 batch 级同步屏障，将点对点批量交互转化为全局可寻址的缓冲交换； Heterogeneous Parallel Allocator：将资源分配目标从“单模块最快”转为“生产速率与消费速率匹配”，为 encoder 和 backbone 选择差异化并行策略；Dynamic Packing Scheduler：根据运行时样本长度和真实计算成本动态构造 microbatch，降低 padding 浪费并平衡 PP/DP 负载。在超节点实验环境中，FlowTrain 进一步结合其高带宽互联与跨设备数据访问能力，验证了框架在工业级多模态训练中的效率潜力。

FlowTrain 的关键技术创新

Unified Memory Pool：以全局地址空间实现多模态训练时间解耦

FlowTrain 的 Unified Memory Pool 是实现时间解耦的基础。该机制通过 64 位全局虚拟地址统一管理跨节点 HBM 与 DRAM 资源，将 encoder 产生的多模态 embedding 与文本 token 纳入全局可寻址空间。backbone 可依据元数据和全局虚拟地址持续访问已就绪数据，无需等待完整 batch 的 encoder 输出。国产芯片超节点提供的高带宽互联与跨设备访问能力，为 embedding 的透明流转和 backbone 的连续消费提供支撑，使 encoder 侧的运行波动能够被统一内存池吸收，而不直接传导至 backbone 训练阶段。

FlowTrain 通过消费者-生产者流消除同步训练的 batch-level 同步等待

Heterogeneous Parallel Allocator：以吞吐匹配优化异构并行资源分配

多模态训练中，encoder 与 LLM backbone 的计算特征不同。Encoder 通常更适合 DP/TP 组合，LLM backbone 则通常需要 DP、TP、PP等复合并行。如果所有模块采用统一并行策略，会造成资源错配。

FlowTrain 提出的 Heterogeneous Parallel Allocator，将资源分配转化为生产速率与消费速率的匹配问题，而非依赖经验调参。系统先以小规模吞吐 profiling 建立吞吐代理模型，再通过 MILP 在既定资源预算内，为 encoder 与 backbone 选择各自更匹配的并行配置；优化目标是优先最大化全局吞吐，并进一步降低生产—消费不匹配。该机制可结合集群拓扑、通信代价、算子执行效率和并行策略组合，更准确地刻画真实训练吞吐，为异构模块提供差异化资源配置。

Dynamic Packing Scheduler：基于真实计算成本的动态打包调度

多模态训练样本天然存在变长问题。文本长度不同，图像数量不同，视觉 token 数也不同。即使 token 总数接近，最长子序列长度也会显著影响 attention 计算开销。

FlowTrain 设计 Dynamic Packing Scheduler，不再仅按 token 数或样本大小进行静态分桶，而是在完成编码后，依据 LLM 侧的实际计算代价动态构造 microbatch。调度器先通过 segment tree-based best-fit packing 降低 padding 浪费，再基于真实计算成本对 microbatch 分桶，并通过 zig-zag dispatch 同时平衡 PP 与 DP 维度负载，从而更有效应对多模态样本带来的计算波动与负载不均。

基于 MindSpeed MM 的工程实现

在完成 FlowTrain 三项核心方法设计后，京东零售 AI Infra 团队基于 MindSpeed MM 进行工程实现。MindSpeed MM 提供多模态训练所需的数据工程、模型组件、并行训练和算子优化能力，为 FlowTrain 的落地验证提供工程承接。

在工程实现层面，FlowTrain 还可利用 MC2 通信计算掩盖技术，将可并行的通信任务嵌入计算窗口执行，减少通信在关键路径上的暴露；在相关工程优化条件下，整体性能可进一步提升约 10%。

实验结果

端到端训练性能提升

我们评估了 FlowTrain 在三种模型规模下的端到端训练性能。上图表明，FlowTrain在与 Megatron-LM、DistTrain 的基线对比中始终实现最高的吞吐量。在 InfoVQA数据集和工业数据集上，FlowTrain 分别带来最高达 1.7 倍和 1.4 倍的吞吐量提升。值得注意的是，随着模型规模增大，FlowTrain 与基线方法之间的性能差距也在不断扩大。在 InfoVQA 数据集上，FlowTrain 相较于 Megatron-LM 的吞吐量提升从VLM-6B 的 1.3 倍增加至 VLM-72B 的 1.7 倍。这是因为基线方法受限于批次级别的同步屏障，导致硬件利用率低下。相比之下，FlowTrain 允许执行解耦，并通过共享内存抽象来协调异构模块，从而显著提升大规模VLM的训练效率。

计算效率大幅提升

基于同样的实验环境，我们比较了不同方法在三种模型规模下的 MFU（模型浮点运算利用率）。如上图所示，FlowTrain 在所有配置下均大幅优于 Megatron-LM。得益于生产者和消费者之间的流匹配优化，FlowTrain 在 InfoVQA 数据集和工业数据集上训练 VLM-72B 时，MFU 分别达到 52.9% 和 50.0%，而 Megatron-LM 由于采用单体设计，MFU 仅达到 31.2% 和 36.9%。此外，虽然 DistTrain 的分离式编排能够缓解一部分并行度不匹配的问题，但由于其僵化的流水线执行方式，MFU仍低于 FlowTrain。FlowTrain 允许 backbone 无需等待整个批次的 encoder 输出即可继续执行，并能够消费均衡的微批次，从而提升了资源利用率。

优秀的横向扩展性能

为了进一步验证可扩展性，我们在不同集群规模下基于 InfoVQA 数据集训练 VLM-32B，并以纯 LLM 训练作为性能参考上限。上图结果展示 FlowTrain 在所有集群规模下均达到 53% 以上的 MFU，吞吐量提升 1.1-1.4 倍，表现出不同训练规模下的鲁棒性，而其他方法的训练效率远低于 FlowTrain。

此外，我们观察到 FlowTrain 的性能相比于基线方法更接近纯 LLM 训练。Megatron-LM、DistTrain 和 FlowTrain 与纯 LLM 训练的平均MFU差距分别为 18.7、12.1 和 5.0 个百分点，证实我们的设计能显著缩小 VLM 训练与单模态训练在效率上的差距。

在京东电商大模型训练的真实应用

京东零售 JoyAI-OxygenVLM 电商多模态 32B Dense 和 35B-A3B MoE 大模型上，训练吞吐分别提升 1.7 倍和 1.4 倍；通用能力与同尺寸开源模型持平，在 OxyEcomBench 零售电商评测任务达到行业 SOTA；已支持 7 个以上零售业务场景，包括 AI 图搜、商品素材质检、穿搭推荐、货不对品、AI 致幻、平生-商品违规巡检、风控-风险商家巡检等多项业务，其中AI图搜相比线上模型 UCVR 核心指标置信提升 +2.24%，且多个核心指标均置信正向。

结论与展望

京东近年来大力布局、共建国产 AI 生态。本工作是京东零售 AI Infra 团队与国产芯片团队合作，基于高速互联硬件能力、MemFabric内存池化技术、MindSpeed MM软件栈，结合多模态大模型训练特点所作出的系统级工作，并在京东电商业务真正的应用落地，带来显著的效率提升。

我们看到，大模型训练正在从单一模型优化走向系统级协同优化，模型规模、数据形态和业务复杂度将持续提升，训练系统需要同时具备更高的算力利用率、更强的异构并行能力和更灵活的数据调度能力。京东零售 AI Infra 团队围绕 FlowTrain 的技术创新，验证了自主创新 AI 基础设施支撑工业级多模态训练的可行路径。未来，将持续推进面向真实业务场景的训练框架、调度算法和系统优化实践，将 FlowTrain 相关技术能力在更大规模模型、更复杂数据分布和更多产业场景中落地，并面向开发者社区开放更多实践经验，促进高效、开放的多模态大模型训练生态发展。

— END —