在人工智能与影视制作、虚拟现实等领域融合的浪潮中，角色动画的自动生成一直是研究的热点。然而，现有的视频生成技术在生成具有真实感的角色动画方面仍存在诸多不足。最近，Meta与滑铁卢大学联合开发的MoCha模型，为这一领域带来了新的突破。MoCha能够根据文本或语音输入生成带有同步语音和自然动作的完整角色动画，其创新的技术架构和训练策略使其在对话角色视频生成方面达到了电影级的水平。
一、模型概述
MoCha是一个由Meta和滑铁卢大学联合开发的端到端对话角色视频生成模型，能够根据文本或语音输入生成带有同步语音和自然动作的完整角色动画，具有语音驱动角色动画生成、文本驱动角色动画生成、全身动画生成和多角色轮番对话生成等核心功能。基于扩散变换器（DiT）架构，采用语音 – 视频窗口注意力机制和联合训练策略，生成自然流畅的全身动作，支持多角色对话。在虚拟主播、动画影视创作、教育内容创作和数字人客服等领域有广泛的应用前景，能够实现与语音精确同步的唇部动作，创造出自然流畅的面部表情和全身动作。
二、技术创新
（一）端到端训练无需辅助条件
与以往依赖外部控制信号（如参考图像、骨骼、关键点）的方法不同，MoCha直接在文本和语音上进行训练，无需任何辅助条件。这种设计简化了模型架构，提高了动作多样性和泛化能力。传统的视频生成方法往往需要借助额外的辅助信息来指导角色动画的生成，这些辅助信息的获取和处理增加了制作成本和复杂度。而MoCha的端到端训练方式避免了这些问题，使得模型能够更加灵活地适应不同的输入条件和场景需求。
（二）语音 – 视频窗口注意力机制的创新
MoCha提出的语音 – 视频窗口注意力机制有效地解决了视频压缩和并行生成过程中出现的语音 – 视频对齐问题。通过限制每个视频标记只能关注与其时间上相邻的音频标记，提高了口型同步的准确性和语音 – 视频对齐效果。这一创新使得角色的嘴型能够更加精准地匹配语音内容，增强了动画的真实感和自然度。在实际应用中，即使是快速的语音语速或者复杂的语音语调变化，角色的嘴型也能够做出相应的准确反应，为观众带来更加逼真的视觉体验。
（三）多角色对话生成的突破
MoCha首次实现了多角色对话的连贯生成，打破了以往方法的单角色限制。它通过结构化提示模板和角色标签机制，使得AI生成的角色能够在动态的轮流对话中保持场景意识和故事连贯性。在传统的视频生成技术中，多角色之间的对话往往难以实现自然流畅的过渡和互动，容易出现角色动作和表情不协调、对话内容不连贯等问题。而MoCha的多角色对话生成功能有效地解决了这些问题，为复杂的故事情节和互动场景的创作提供了有力支持。
（四）联合训练策略的优势
MoCha采用的联合训练策略充分利用了语音标注和文本标注的视频数据，增强了模型在多样化角色动作上的泛化能力。通过自然语言提示实现对角色表情、动作、互动和环境的精细控制，MoCha能够更好地适应不同的输入条件和场景需求。这种联合训练方式不仅提高了模型的训练效率，还使得模型在处理各种复杂的任务时能够表现出更加出色的效果。
三、核心功能
（一）语音驱动角色动画生成
用户输入语音后，MoCha可以生成与语音内容同步的角色嘴型、面部表情、手势及身体动作。这一功能使得角色的表演更加生动自然，仿佛是一个真实的演员在进行表演。
（二）文本驱动角色动画生成
用户仅输入文本脚本，MoCha会先自动合成语音，再驱动角色进行完整的口型和动作表现。这对于一些需要批量生成动画内容的场景非常有用，如动画影视创作和教育内容创作。创作者可以提前准备好文本脚本，然后通过MoCha快速生成对应的动画视频，大大提高了创作效率。
（三）全身动画生成
与传统仅生成面部表情或嘴型的模型不同，MoCha能够生成全身的自然运动，涵盖嘴唇同步、手势以及多角色之间的互动。全身动画的生成使得角色的动作更加丰富多样，能够更好地表达情感和故事情节。
（四）多角色轮番对话生成
MoCha提供结构化提示模板与角色标签，能自动识别对话轮次，实现角色间“你来我往”的自然对话呈现。在多角色场景中，用户只需定义一次角色信息，可以通过简单的标签（如“人物1”“人物2”）在不同的场景中引用这些角色，无需重复描述。这一功能使得多角色对话的生成变得更加简单高效，为复杂的故事情节和互动场景的创作提供了有力支持。
四、应用场景
（一）虚拟主播
MoCha可以自动生成日常Vlog、角色问答等内容。通过语音或文本输入，生成与语音内容同步的角色嘴型、面部表情、手势及身体动作，使虚拟主播更加生动自然。虚拟主播在直播、视频制作等领域具有广泛的应用前景。与传统的人类主播相比，虚拟主播具有成本低、可定制性强等优点。MoCha的出现进一步提升了虚拟主播的表演质量，使其能够更好地与观众互动，提供更加丰富多样的内容。
（二）动画影视创作
MoCha支持AI自动配音和自动动画生成，能降低动画影视创作的制作成本。生成的全身动画让角色动作更加自然，接近电影级数字人演出。在动画影视制作中，角色动画的生成通常需要大量的时间和人力成本。MoCha的应用可以大大缩短制作周期，提高制作效率。同时，其生成的高质量角色动画能够满足电影级的制作要求，为动画影视创作带来新的发展机遇。
（三）教育内容创作
MoCha可以作为AI老师角色进行讲课或互动。通过文本驱动的方式，生成与教学内容匹配的角色动画，提高教育内容的趣味性和吸引力。在教育领域，生动有趣的教学内容可以更好地激发学生的学习兴趣和积极性。MoCha生成的角色动画可以将抽象的知识内容以更加直观形象的方式呈现给学生，帮助他们更好地理解和掌握知识。
（四）数字人客服
MoCha可以用于拟人化企业客服、咨询角色。通过语音或文本输入，生成自然流畅的客服对话动画，提升用户体验。在客户服务领域，数字人客服可以提供24/7的不间断服务，及时响应客户的需求和问题。MoCha生成的自然流畅的对话动画使得数字人客服更加亲切友好，能够更好地与客户进行沟通和交流，提高客户满意度。
五、总结
MoCha通过其创新的模型架构和训练策略，在对话角色视频生成领域取得了重大突破。它不仅能够生成与语音精确同步的唇部动作，还能创造出自然流畅的面部表情和全身动作，并且支持多角色对话。这些特性使得MoCha在电影制作、动画、虚拟助手等多个领域具有广泛的应用前景。
六、项目资料
项目官网：https://congwei1230.github.io/MoCha/
技术论文：https://arxiv.org/pdf/2503.23307
（文：小兵的AI视界）