NeurIPS 2024 TextHarmony：和谐统一的多模态文字理解与生成大模型

论文地址： https://arxiv.org/abs/2407.16364

代码仓库： https://github.com/bytedance/TextHarmony

一、背景：

在人工智能领域，让机器能够像人类一样“看懂”图像中的文字（感知与理解），并“创作”或“修改”包含文字的图像（生成与编辑），是一个极具挑战性的研究方向。当前的主流方案通常将“理解”任务（如文字检测、识别、文档问答VQA）和“生成”任务（如文字图像生成、编辑、抹除）交由不同的模型处理，例如：

• 理解模型：Monkey、InternLM-XComposer2 等视觉语言模型 (VLM)，擅长文本模态的生成（输出文本）。
• 生成模型：TextDiffuser-2、AnyText 等基于扩散模型 (Diffusion Model) 的模型，擅长图像模态的生成（输出图像）。

这种割裂不仅增加了系统复杂性，更重要的是，当尝试构建一个能同时处理理解和生成任务的统一多模态生成大模型时，研究人员发现了一个关键瓶颈：视觉模态（图像）与语言模态（文本）在生成过程中存在显著的“模态不一致性”(Modality Discrepancy) 。这种不一致性导致多模态生成模型在理解任务（文本输出）和生成任务（图像输出）上的性能，均显著低于各自领域的单模态专家模型（文本生成性能下降约5%，图像生成性能下降最高达8%）。

二、TextHarmony：OCR领域的统一多模态生成模型

针对上述挑战，字节跳动与华东师范大学的研究团队提出了TextHarmony。其核心目标是：在一个统一的模型架构中，和谐地实现视觉文本的理解（文本输出）与生成/编辑（图像输出）。

核心架构：ViT + MLLM + Diffusion

TextHarmony 的架构设计融合了当前最先进的组件：

1. 视觉编码器 (ViT)：负责将输入图像编码为视觉 Token 序列。
2. 多模态大语言模型 (MLLM)：接收视觉 Token 和文本 Token 的交叉序列作为输入。其输出是关键：
• 文本 Token：送入文本解码器，生成最终的文本输出（用于理解任务，如VQA答案）。
• 视觉 Token：与文本 Token 拼接，共同作为**条件 (Condition)**输入到下一阶段。
3. 扩散模型 (Diffusion Model)：接收 MLLM 输出的条件（融合了视觉和语言信息的Token），引导模型生成目标图像（用于生成/编辑任务）。

这种架构使得TextHarmony能够同时处理“看图说话”（理解）和“按文作图”（生成）的任务。

关键技术突破：Slide-LoRA 缓解模态冲突

仅仅将不同模块拼接起来无法解决模态不一致性问题。为此，研究者提出了 Slide-LoRA，这是一种创新的低秩适配机制，旨在模型中动态地、部分地解耦图像生成和文本生成的参数空间。其核心组件包括：

• 模态特定 LoRA 专家：专门处理视觉（图像生成）或语言（文本生成）相关的特定任务，提升各自模态的专业性。
• 模态无关 LoRA 专家：处理两种模态共享的通用特征，促进跨模态知识的融合。
• 动态门控网络：根据输入特征（文本和图像），实时决定激活哪些模态特定专家和模态无关专家，以及它们的融合权重，实现模型对不同生成任务的灵活适配。

Slide-LoRA 通过在微调阶段（而非预训练阶段主要结构）引入这种动态路由机制，有效调和了图像生成与文本生成在统一模型中的冲突。

两阶段训练策略

为了高效训练这个复杂模型：

1. 第一阶段：预训练对齐
• 使用大规模图文对数据集 (如 MARIO-LAION, DocStruct4M)。
• 训练目标：对齐模块 (Perceiver Resampler) 和图像解码器 (Diffusion Model)。
• 成果：获得初步的文本生成（理解）和图像生成能力。
2. 第二阶段：统一微调
• 使用涵盖视觉文本生成、编辑、理解、感知四个类别的任务数据。
• 开放更多参数更新：ViT、对齐模块、图像解码器和 Slide-LoRA 参数均参与训练。
• 目标：学习统一的多模态理解与生成能力，Slide-LoRA 在此阶段发挥关键作用，协调不同模态的生成。
• 重要数据补充：为提升视觉文本生成的描述质量，团队构建了DetailedTextCaps-100K数据集，利用强大的闭源 MLLM (GeminiPro) 生成了更丰富、更聚焦于视觉文本元素的图像描述。

卓越性能表现

研究人员在多个标准任务上对TextHarmony进行了严格评估：

1.视觉文本理解 (文档/场景VQA, OCRBench)：

• TextHarmony 显著超越了现有的多模态生成模型 (如 SEED-LLaMA, MiniGPT5, MM-Interleaved)。
• 其性能接近甚至部分超越专注于文本理解/生成的专家模型 (如 Monkey, InternLM-XComposer2)，尤其是在文档问答任务上表现突出。这证明了其强大的文本理解和生成能力。

2.视觉文本感知 (OCR定位)：

• 在OCR定位任务上，TextHarmony 取得了 88.7的优异表现，超越了 TGDoc (82.5) 和 DocOwl 1.5 (84.3) 等模型，展示了其精准的文本区域检测能力。

3.视觉文本生成与编辑：

• 在衡量文字图像生成/编辑质量的指标上 (NED衡量文字准确性↑, FID衡量图像真实性↓, CLIP Score衡量图文匹配度↑)：
• TextHarmony (TextHarmony-Gen版本尤为突出) 大幅领先于其他多模态生成模型。
• 其性能接近TextDiffuser-2、AnyText 等专注于图像生成的专家模型水平。这表明TextHarmony在生成包含准确、清晰文字的图像方面达到了很高的水准。

4.文字生成效果对比

5.文字编辑效果对比

6.文字图像感知与理解可视化

三、总结与意义

TextHarmony 是OCR领域首个成功统一视觉文本感知、理解、生成和编辑任务的多模态大模型。其核心贡献在于：

1. 统一的架构设计：创新性地结合 ViT、MLLM 和 Diffusion Model，支持多种模态的输出。
2. Slide-LoRA 技术：有效缓解了统一模型中视觉生成与语言生成之间的模态不一致性，是模型成功的关键。
3. 优异的性能：在广泛的OCR相关任务上（理解、感知、生成、编辑）均展现出领先或接近专家模型的性能。

这项工作填补了OCR领域多模态统一大模型的空白，为需要同时理解图像文字并生成或修改图文内容的复杂交互任务（如智能文档处理、自动化报告生成、交互式内容创作等）提供了强大的基础模型支持，具有重要的研究价值和广阔的应用前景。