极市导读
在本文中，作者第一次实现了原生的三维高斯生成式模型，无需对高斯数据进行体素化等预处理操作，并可以生成任意数量的3DGS。DiffGS同时是第一个通用三维高斯生成模型，支持图生3DGS、文生3DGS、三维高斯补全、点云到3DGS的生成等任务。>>加入极市CV技术交流群，走在计算机视觉的最前沿
清华大学近期的工作：DiffGS: Functional 3D Gaussian Splatting Diffusion 被接收于 NeurIPS 2024。论文代码已开源：
论文地址：https://arxiv.org/abs/2410.19657
项目主页：https://junshengzhou.github.io/DiffGS
代码地址：https://github.com/weiqi-zhang/DiffGS
作者提出使用函数化方式来将离散的、非结构化的三维高斯表征解耦地表示为三个三维高斯函数，包括高斯概率函数、高斯颜色函数和高斯变换函数。在这三个连续的三维高斯函数上，可以训练一个标准的VAE + LDM (Variational Auto-encoder + Latent Diffusion Model) 的扩散生成式模型来生成这些函数。最后通过高斯提取算法获得最终生成的高斯。
DiffGS 网络框架：
DiffGS 包括一个Gaussian VAE以及一个Gaussian LDM。首先训练Gaussian VAE来构建一个可以编码三维高斯并解码出三维高斯函数的隐特征空间，在这个隐特征的基础上训练一个Diffusion模型来实现三维高斯的生成。同时可以引入各种condition，如文本、图像和残缺高斯，来实现可控的三维生成。
高斯提取算法：
DiffGS设计了一个基于Octree的优化式高斯提取算法，以从生成的高斯概率函数、颜色函数和变换函数中恢复出高斯模型。该算法的目标类似于Marching Cubes算法从SDF中提取表面的过程。
下游应用：
DiffGS可以实现多个3DGS生成任务，如Unconditional Generation，Text-to-3DGS Generation，Image-to-3DGS Generation，Gaussian Completion，Point-to-Gaussian Generation。
无条件三维高斯生成
与现有SOTA方法的可视化以及量化结果对比：
图/文生三维高斯
给定文本，比如“a grey chair has two L type legs”， DiffGS能够生成对应的三维高斯模型
三维高斯补全
DiffGS 是首个能够实现三维高斯补全的模型。给定残缺的模型，DiffGS能够预测完整的三维高斯模型
点云生成三维高斯
DiffGS 还可以支持基于点云的三维高斯生成任务。只需要将Gaussian VAE的输入修改为三维点云即可以实现该任务
（文：极市干货）