小尺寸全能王：小米开源0.8B卷王OCR模型

你是否也经历过这些瞬间：线上取好的排队号、外卖取餐码，走到柜台前却发现早已被新涌入的消息窗口淹没；刷到一张心动的活动海报，时间和地点还得切去日历挨个敲进去；刚付完一笔账单，金额、商户和订单明细仍需手动摘录整理……这些高频的日常“小麻烦”，其实都指向了同一个问题：手机能不能不只是“看见”屏幕上的内容，更能“看懂”这些信息，并在你需要时顺手完成下一步？

如今，在小米手机上，“超级小爱”已经让这种体验成为日常——短按 AI 键或只需一句话，即可提取屏幕上的关键信息并衔接后续操作。从“看清屏幕上写了什么”，到“主动帮用户把事办好”，这看似轻巧的一步跨越，背后其实是一项 AI 原子级能力的进化：OCR 从单纯的“文字识别”走向了深层的“文档理解”。

然而，想要让机器真正“读懂”眼前的文档与画面，远没有想象中简单：一张跨行合并的复杂财报表格，如何准确还原行列逻辑？一页密布符号的学术论文，如何直接转为可编辑的公式与结构化内容？一张版式各异的票据卡证，又如何一眼锁定核心字段？这背后是 AI 模型对文字、版面结构、空间位置与上下文语义的多重考验。传统 OCR 往往止步于机械的文字转写，拆不开复杂结构，也读不懂深层语义；而通用大尺寸多模态模型虽具备理解能力，动辄数十亿、上百亿的参数体量又显得过于笨重。

今天，小米正式发布并开源轻量级全能文档理解模型——Xiaomi-OCR-0，小参数，同样能释放大能力。作为一款仅有 0.8B（8 亿）参数的轻量化模型，它将文档解析、关键信息抽取与视觉问答三大核心能力融于一身，在多项权威基准测试中越级斩获领先成绩，让机器不仅能“认准文字”，更能真正“读懂文档”。

01

一体多能：仅 8 亿参数

从“把字读出来”到“把文档读明白”

在真实世界中，文档的形态远比一段纯文本复杂得多：学术论文包含密集的跨行数学公式，财务研报充斥着复杂的嵌套表格，各类卡证票据则隐含着严密的字段键值关系；与此同时，物理打印、日常拍摄或屏幕翻拍过程还不可避免地引入弯曲形变、透视倾斜、光照阴影与摩尔纹干扰。这意味着，真正实用的文档智能系统不仅要“认得出字”，更要“拆得开结构、提得出字段、答得上问题”。

面向真实场景的多维需求，Xiaomi-OCR-0 在仅 0.8B 参数的轻量级架构中实现了三类核心能力的统一建模：

• 文档解析（Document Parsing）：精准识别并还原文档中的正文、复杂表格与数学公式，严格遵循人类自然阅读顺序生成结构化结果，原生支持 Markdown、LaTeX 等格式输出，便于后续编辑、知识库构建与检索增强。

• 关键信息抽取（Key Information Extraction, KIE）：面对发票、收据、卡证及业务表单等半结构化文档，能够根据指定字段精准定位并抽取目标信息，直接输出 JSON 等标准结构化数据，无缝对接自动化处理工作流。

• OCR 视觉问答（OCR-oriented VQA）：突破单纯的文字转写边界，支持围绕文档与图表内容进行跨区域检索、数值计算与语义推理问答，真正实现针对视觉文本的交互式理解。

通过将结构解析与语义理解融为一体，Xiaomi-OCR-0 用一个轻量级模型覆盖了从底层感知到高层认知的完整链路，以极高的参数效率实现了“小尺寸、全能型”的文档智能体验。

02
性能领先：真实解析基准登顶

理解能力越级挑战大模型

仅 8 亿参数的轻量级模型，究竟能否扛住复杂文档解析与高层语义理解的双重考验？在多项极具代表性的公开基准测试中，Xiaomi-OCR-0 交出了一份亮眼的答卷。

▍文档解析：真实复杂场景夺冠，综合与专项表现全面领先

在日常办公与生活场景中，待处理的文档往往并非清晰规整的数字原件：扫描件伴有噪点，手持拍摄的纸张常出现弯曲与透视倾斜，手机翻拍电子屏幕则会产生严重的摩尔纹与反光。为了检验模型在真实物理采集条件下的鲁棒性，我们在 Real5-OmniDocBench 基准上进行了系统评测。该基准基于 OmniDocBench v1.5 的 1,355 页多样化文档，通过扫描（Scanning）、纸张弯曲（Warping）、屏幕翻拍（Screen Photography）、光照变化（Illumination）和倾斜拍摄（Skew）五种真实物理采集方式，构建了共计 6,775 张测试图像，能够直观检验复杂成像干扰对模型解析能力的影响。

在 Real5-OmniDocBench 评测中，Xiaomi-OCR-0 取得了 95.24 分的优异成绩，对比的所有模型中位列第一。与此同时，在同样聚焦真实拍摄干扰（涵盖打印形变、阴影、反光与复杂透视）的 Wild-OmniDocBench 基准上，Xiaomi-OCR-0 同样取得了 87.94 分的高分，充分印证了模型在非受控真实成像环境下的卓越稳定性。

而在检验综合文档解析能力的权威基准 OmniDocBench v1.6 中，评测覆盖了学术论文、财务报告、报纸、教材等多元版式，并进一步强化了对复杂嵌套表格与密集数学公式的考察。在这场“综合大考”中，在这场“综合大考”中，Xiaomi-OCR-0 斩获 96.83 分，以约三分之二的参数量（0.8B vs. 1.2B）夺得总榜第二名，距榜首仅差 0.04 分，在1B以下模型中排名第一，展现出极高的参数效能比。

此外，针对文档中的精细结构与特殊字体，Xiaomi-OCR-0 同样表现出色：在数学公式识别基准 UniMER-Test 上达到 97.84 分，在表格结构识别基准 PubTabNet 上取得 92.27 分。更令人惊喜的是，在涵盖隶书、草书、行书与楷书的古籍与书法评测集 Chronicles-OCR（Mature Scripts） 中，模型得分达到 73 分，与闭源大模型 Seed 2.0 Pro（72 分）处于同一水准。从现代印刷文档到传统书法文献，Xiaomi-OCR-0 展现出广阔的能力边界。

▍文档理解：以 0.8B 轻量级规模，越级超越更大尺寸模型

除了精准还原文档结构，一个 0.8B 的轻量级模型能否真正“读懂”文档内容？为此，我们在 DocVQA、InfoVQA、ChartQA、OCRBench 和 TextVQA 五项主流 OCR 视觉问答基准（OCR-oriented VQA）上进行了全面评估。这些任务不再局限于考察“文字是否识别正确”，而是要求模型结合文本、图表与版面结构进行跨元素关联、信息检索与逻辑问答。

评测结果显示，Xiaomi-OCR-0 以仅 0.8B 参数取得了 83.2 的五项基准平均分：这一成绩不仅大幅超越了 HunyuanOCR-1.5（1B，76.5 分）、TokenVL-2B（2B，78.1 分）与 TextHawk2（7B，78.5 分）等专用 OCR 模型，更跨量级超越了通用多模态模型 Qwen3.5-2B（80.9 分） 与 MiniCPM-V-4.5（8B，82.6 分），并以仅 20% 的参数规模逼近 Qwen3.5-4B（84.9 分）。这意味着，Xiaomi-OCR-0 不仅“看得清、拆得开”，更能“读得懂、答得出”，在轻量级参数规模下实现了兼具解析精度与认知深度的双重跃升。

03

技术核心：可扩展数据引擎与渐进式课程训练

一个仅有 8 亿参数的轻量级模型，是如何在保持高推理效率的同时，兼顾顶尖的文档解析精度与深层语义理解能力的？Xiaomi-OCR-0 的核心突破在于高信噪比的可扩展数据引擎与先解析后理解的渐进式训练范式。

▍可扩展数据引擎：异构专家共识与渲染引导校验

Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建，训练过程累计使用约 1.7 亿条高质量 OCR 与文档理解样本。面对真实文档版式复杂、传统伪标签噪声高、长尾场景稀缺等难题，团队构建了一套闭环演进的数据引擎，从三个维度保障每一份训练数据的信息密度：

• 异构专家共识机制（Ensemble Triplet Consensus）：针对正文、表格与公式等不同区域，联合多个异构 OCR 专家模型进行交叉校验与三元组共识投票（基于 1-NED、TEDS、CDM 等专项指标），从源头滤除单模型偏见，筛选高置信度标注。

• 渲染引导校验（Render-Guided Refine-and-Judge）：针对复杂表格与高难度数学公式，创新性地引入“预测—重渲染—视觉比对”闭环。系统将候选解析代码重新渲染为图像，并与原始文档区域进行像素与结构级比对，精准定位行列错位或符号缺失等细微结构缺陷，进而实施针对性修正。

• 多因素困难样本挖掘与定向合成：结合版面复杂度、字体形态与物理退化因素，持续挖掘模型能力短板，并定向合成覆盖多语种、古籍手写、屏幕摩尔纹及扭曲光照的训练样本，系统性补齐长尾分布。

▍渐进式课程训练：从“读得准”到“读得懂”的双向增益

在模型训练阶段，Xiaomi-OCR-0 遵循由浅入深的认知规律，设计了三阶段渐进式训练策略：

1. Q-Mask 文本锚定：在特征对齐初期强化视觉局部区域与文字 Token 之间的细粒度空间锚定，夯实密集文本识别与版面感知的底层基础；

2. OCR 持续预训练（Continual Pre-Training, CPT）：通过百亿级 Token 规模的多任务混合训练，赋予模型涵盖全页文档解析、细粒度区域识别与视觉问答的综合基座能力；

3. 混合任务强化学习（Mix-RL）：在困难样本上引入基于结构编辑距离、表格匹配度与问答准确率的精细化可验证奖励信号（Verifiable Rewards），进一步突破模型在复杂版式还原与多步推理上的性能上限。

尤为值得关注的是，团队在训练演进过程中揭示了一项重要的课程学习（Curriculum Learning）规律：当模型在早期尚未建立稳固的解析基础时，过早混入高层理解任务会轻微分散底层识别注意力；但一旦模型具备了扎实的文档解析根基，进一步引入 OCR 视觉理解监督信号，不仅能显著拉升问答与抽取能力，还会反过来对纯文档解析基准产生正向促进作用（在 OmniDocBench v1.6 上带来最高 +0.64 分的额外增益）。这一“以解析筑基、以理解反哺”的协同机制，正是 Xiaomi-OCR-0 能够在 0.8B 轻量级体量下实现全能表现的关键所在。

04

场景落地：走出实验室，让屏幕信息主动服务生活

技术的价值，最终体现在真实世界的交互体验之中。凭借 0.8B 的轻量级体量与全能的解析理解能力，Xiaomi-OCR-0 相关技术正深度融入小米手机与“超级小爱”的日常高频场景，推动终端体验从“被动截屏查找”走向“主动理解服务”：

• 在即时生活服务场景中，让关键凭证“一眼上岛、随手可取”：面对被消息淹没的外卖取餐码、驿站快递取件码、退货码、景区寄存柜号或餐厅排队号，用户无需在各个 App 间反复切换翻找；只需短按 AI 键、三指上滑或对超级小爱说一句“记一下”，系统即可精准识别屏幕中的核心字段与状态，将时效性信息主动提炼“上岛”，在需要时一触即达。

• 在财务管理与卡证办理场景中，让繁琐录入化为自然交互：浏览微信、支付宝等消费账单详情时，按下 AI 键即可自动抽取交易金额、商户名称、支付时间与消费类别，一键完成智能记账；面对纸质发票、身份证、银行卡等复杂卡证材料，也能通过拍照或识屏瞬间完成结构化字段提取，告别手动输入与反复核对。

• 在日程规划与出行场景中，让屏幕信息直接转化为下一步行动：看到群聊记录里的会议通知或活动海报上的时间地点，系统能够自动理解上下文语义并生成日程卡片，一键添加至日历；在聊天界面收到朋友发来的航班号（如“我的航班号是国航 CA824”），只需直接提问“这个航班还有多久到”，系统便能结合屏幕上下文精准提取航班信息并联动查询实时起降动态。

从取餐码上岛、自动记账，到卡证提取、日程创建与航班追踪，这些看似不同的生活切面，背后指向的正是同一项核心技术跃迁：让 AI 从屏幕与图像中精准捕获结构化信息，读懂文字背后的真实意图，并将其转化为触手可及的智能服务。

05

全面开源：开放权重与工具链，共建文档智能生态

我们始终相信，科技不是高高在上，而是服务于每一个人。

今天，Xiaomi-OCR-0 正式面向全球社区全面开源。我们不仅完整公开了 0.8B 模型权重与推理代码，还同步提供了开箱即用的浏览器交互式 Demo、MCP（Model Context Protocol）服务以及 Agent Skill 工具包，帮助广大开发者、研究人员与企业伙伴以最低成本将文档解析、信息抽取与视觉问答能力集成至自有业务流或智能体系统中。

从“读得准”到“读得懂”，从底层算法突破到全场景终端体验升级，8 亿参数的 Xiaomi-OCR-0 展现了轻量化模型在文档智能领域的无限潜力。我们诚挚邀请全球开发者共同体验、评测与共建，携手探索全场景文档理解的更多可能！

开源链接与快速体验：

• Hugging Face 模型权重：https://huggingface.co/xiaomi-research/Xiaomi-OCR-0

• GitHub 项目代码：https://github.com/xiaomi-research/Xiaomi-OCR-0

• Agent 一键体验口令（复制以下指令发送给你的 AI Agent，即可自动完成环境配置、模型下载与本地体验）：Read and execute https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md

END