阿里巴巴开源的 3D 动画神器，单张图片秒变可动3D人体视频！

作者

 

在 AI 与 3D 技术交汇的热潮中，阿里巴巴通义实验室最近开源了一款令人瞩目的工具：LHM。

它是一款大型可动画人体重建模型，专注于从单张图像快速生成可动画的 3D 人类头像。

基于多模态 Transformer 架构，以 3D 高斯泼溅（Gaussian Splatting）表示人物，支持实时渲染和姿势控制。

能够在几秒钟内，从一张简单的全身照片生成可动画的 3D 人类头像。无论是跳舞的明星，还是日常的自拍，LHM 都能让静态图片“动起来”，效果惊艳且高效。

这种“单图到动画”的能力，不仅降低了技术门槛，还为内容创作、虚拟现实和游戏开发打开了新大门。

核心功能

LHM 的功能强大且直击需求痛点，以下是它的主要特性：

  • • 单图转3D动画：输入一张全身图像，几秒钟内生成可动画的 3D 人类头像。
  • • 超快推理速度：在 A100 GPU 上，单次重建仅需 0.2 秒。
  • • 高保真细节保留：利用多模态 Body-Head Transformer（MBHT），精确捕捉服装褶皱和面部特征。
  • • 动画支持：基于 SMPL-X 模板网格，生成的模型支持姿势控制和动作序列。
  • • 零门槛体验：开源且有现成在线Demo

快速上手

LHM 的安装和使用过程简单，支持本地部署和在线试用，对零基础小白也特友好。

在线体验

① 访问 Hugging Face 演示地址

② 上传一张全身照片及一段动态视频（如跳舞、走秀、运动、唱歌等），点击Generate，几秒后即可查看 3D 动画结果。

本地部署

① 克隆 GitHub 仓库

git clone https://github.com/aigc3d/LHM.git
cd LHM

② 借助脚本安装依赖（使用 Python 3.10 和 CUDA 11.8/12.1）

# cuda 11.8
sh ./install_cu118.sh
pip install rembg

# cuda 12.1
sh ./install_cu121.sh
pip install rembg

③ 运行项目

python ./app.py

如果没下载模型，模型将会自动下载，也可以自定义下载。

# 下载预训练模型权重
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-0.5B.tar
tar -xvf LHM-0.5B.tar 
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-1B.tar
tar -xvf LHM-1B.tar

# 下载先验模型权重
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM_prior_model.tar
tar -xvf LHM_prior_model.tar 

写在最后

阿里巴巴开源的 LHM 为 3D 动态人物建模 领域带来了革命性突破，让普通用户也能轻松体验让照片动起来 的乐趣。

它不仅能单张图片秒级生成 3D 头像，还能驱动动画，适用于游戏、虚拟数字人、社交元宇宙等多个领域。

现在，你可以在 Hugging Face 上直接试用，或者下载开源代码，在本地运行属于你的 3D AI 助手！

GitHub 项目地址：https://github.com/aigc3d/LHM

HF 在线体验：https://huggingface.co/spaces/DyrusQZ/LHM

● 一款改变你视频下载体验的神器：MediaGo

● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star

● 最新最全 VSCODE 插件推荐（2023版）

● Star 50.3k！超棒的国产远程桌面开源应用火了！

● 超牛的AI物理引擎项目，刚开源不到一天，就飙升到超9K Star！突破物理仿真极限！











（文：开源星探）

欢迎分享

发表评论