在数字化内容创作领域，3D动画、游戏开发和虚拟现实等技术正飞速发展。然而，传统的人类动作生成方法面临着效率低下、成本高昂以及难以满足多样化需求的挑战。为了突破这些限制，北京航空航天大学、香港中文大学（深圳）、悉尼科技大学和中山大学等高校联合推出了 Sitcom-Crafter —— 一个基于剧情驱动的3D人类动作生成系统。

一、项目概述

Sitcom-Crafter 由北京航空航天大学、香港中文大学（深圳）、悉尼科技大学和中山大学等多所知名高校的科研团队联合开发。这些团队在计算机图形学、人工智能和动画技术等领域拥有丰富的研究经验和深厚的技术积累，为项目的成功实施提供了坚实的保障。

Sitcom-Crafter 的主要目标是开发一个综合性的3D人类动作生成系统，能够基于用户提供的长剧情指导，生成多样化且物理真实的动作。该系统不仅支持人类行走、场景交互和人与人之间的交互，还通过增强模块优化动作的流畅性、自然性和同步性。

二、主要功能

（一）核心功能

1.人类行走：Sitcom-Crafter 支持角色在3D场景中的自然行走，能够根据场景和剧情需求动态规划路径，确保角色的移动符合物理逻辑和剧情要求。

2.人类与场景交互：角色可以与环境物体进行符合物理逻辑的交互，例如开门、拾取物品等。这一功能通过结合场景信息和深度学习模型实现，确保动作的真实性和自然性。

3.人类之间交互：系统能够生成角色之间的协调动作，减少碰撞并优化动作同步性。这一功能通过创新的3D场景感知技术实现，显著提升了多人交互的流畅性。

（二）增强功能

1. 剧情解析：使用大型语言模型（如 Gemini 1.5）解析剧本，将长剧情文本转化为具体的角色动作指令。这一功能使得系统能够理解复杂的剧情逻辑，并将其分解为可操作的命令。

2. 运动同步：确保不同模块生成的运动在时间上保持一致，避免动作衔接的生硬感。通过插值技术（如 Slerp），系统能够实现平滑的动作过渡。

3. 手部姿态增强：通过检索数据库中的手部姿态，增强角色动作的自然性和表现力。这一功能利用 CLIP 模型检索与文本描述最相似的手部姿态。

4. 碰撞修正:自动检测并修正人物之间的碰撞，提升动作的流畅性和物理真实性。系统会调整运动速度或路径，避免不必要的碰撞。

5. 3D重定向:将生成的运动映射到现有的3D数字人物模型，确保最终视觉效果的高质量。这一功能支持将生成的动作应用于不同的角色模型。

三、技术原理

（一）运动生成模块

1. 人类行走生成:基于深度学习模型（如 GAMMA）生成自然的行走动作。该模块通过学习大量行走数据，能够生成符合物理逻辑的行走路径。

2. 人与场景交互生成:结合DIMOS 方法和场景信息，生成角色与环境物体的交互动作。通过自监督学习，该模块能够自动适应不同的场景和物体。

3. 人与人交互生成:使用自监督场景感知方法，通过 SDF（签名距离函数）点模拟周围环境，避免碰撞并生成多人交互动作。

（二）场景感知技术

1. SDF点合成:在训练过程中，系统自动生成环境的3D体素点信息，自动标注可行走区域和障碍物。这一策略无需额外数据采集，显著降低了成本。

2. 碰撞检测与修正:通过 SDF 点检测角色与场景或彼此之间的碰撞，并调整运动轨迹或速度，避免碰撞。

（三）剧情理解与命令生成

使用大型语言模型解析剧情文本，将其转化为具体的角色动作指令。这一模块能够理解复杂的剧情逻辑，并将其分解为可操作的命令。

（四）增强模块

1. 运动同步:通过插值技术（如 Slerp）确保不同模块生成的运动平滑过渡。

2. 手部姿态检索: 利用 CLIP 模型检索与文本描述最相似的手部姿态，增强动作的自然性。

3. 碰撞修正:调整运动速度或路径，避免人物之间的碰撞。

4. 3D重定向：将生成的运动映射到高质量的3D数字人物模型，提升视觉效果。

四、应用场景

（一）动画制作

快速生成角色运动：减少手动动画工作量，支持多样化动作和剧情驱动的动画设计。

提升制作效率：通过AI自动生成复杂动作，缩短制作周期。

（二）游戏开发

自然行为设计：为NPC设计自然行为和交互动作，提升游戏沉浸感。

动态剧情生成：支持实时动作反馈，增强玩家的互动体验。

（三）虚拟现实（VR）和增强现实（AR）

自然交互：生成虚拟角色的自然交互和场景模拟，提升用户体验。

增强沉浸感：通过真实的动作生成，增强虚拟环境的沉浸感。

（四）影视制作

创意验证：在早期创意阶段快速验证角色动作，节省制作成本。

特效场景设计：生成复杂动作和交互，提升特效场景的设计效率。

动作捕捉替代：减少对传统动作捕捉设备的依赖，降低制作成本。

（五）教育和培训

模拟训练：生成模拟训练中的角色行为，帮助学员掌握复杂场景的操作。

虚拟教学助手：创建虚拟教学助手，支持安全演示和复杂场景教学。

（六）广告与营销

动态广告内容：生成符合广告剧情的3D角色动作，提升广告的吸引力和表现力。

虚拟产品演示：通过虚拟角色展示产品使用过程，增强消费者对产品的理解。

五、结语

Sitcom-Crafter 作为一款创新的3D人类动作生成系统，通过剧情驱动和智能化技术，显著提升了创作效率和动作质量。它不仅支持多样化的人类动作生成，还通过增强模块优化动作的自然性和流畅性。无论是动画制作、游戏开发还是虚拟现实领域，Sitcom-Crafter 都展现出广阔的应用前景。

六、相关资源

项目官网：https://windvchen.github.io/Sitcom-Crafter/

GitHub仓库：https://github.com/WindVChen/Sitcom-Crafter

技术论文：https://arxiv.org/abs/2410.10790

（文：小兵的AI视界）