CVPR 2025 比高斯更灵活!港大、VAST提出DRK:新型径向核泼溅


在 3D 场景重建与表示领域,三维高斯(3D-GS)因为其快速的渲染速度,灵活的显式表示,易于编辑的特性,已成为了当前的主流技术。


三维高斯在各种下游任务,如动态场景重建,三维语义分割,数字人等都得到了广泛的应用。但是三维高斯由于其内在的核表示缺乏灵活度,对于更少数量表示锋利多样的形状仍存在诸多挑战: 

1. 形状灵活性:高斯的投影形状局限于两个方向缩放的椭圆,对于自然世界常见的直线,凹曲线等边界缺乏拟合能力。对于复杂形状往往需要成百上千的微小高斯来拟合。

2. 边界控制不足:高斯核采用 L2 尺度的衰减,将核的锋利程度与核大小耦合起来,不能在保证核面积较大的情况下增加其锐化度,导致高频边缘往往需要更多数量的高斯单元。 

3. 粗糙的排序方式:三维高斯采用 EWA 投影,对于整个核采用中心深度进行排序。这也导致了高斯核不能太大,否则较大的重叠高斯会导致排序不一致造成的跳跃式伪影。


DRK 只需要一个核即可表示基础的几何形状,同时保持锋利的边缘。 

来自香港大学、VAST 的研究团队提出了一种创新的核函数用于三维场景表示:Deformable Radial Kernel Splatting (DRK)。该表示使用新颖的核函数进行泼溅渲染,得到高质量的渲染质量,使用更少的核数量。该工作目前已经被 CVPR 2025 接收。DRK 的数据与代码均已开源,欢迎前来尝试。



论文地址:
https://arxiv.org/pdf/2412.11752

项目主页:

https://yihua7.github.io/DRK-web/

代码地址:

https://github.com/VAST-AI-Research/Deformable-Radial-Kernel-Splatting



DRK的参数表示


DRK 具备不同的参数来调整其形状,曲率,锐化度等性质,具备高度灵活性。
1. 径向基底 
DRK 的基础形状由一组(8个)径向基底决定。其类似于自行车的辐条,可以具有不同的旋转夹角以及长度来调整自身形状。高斯投影后的二维椭球,其只有四根中心对称的辐条决定形状,并且固定了夹角是九十度。相比之下,DRK 具有更强的形状适配能力,能够灵活的伸缩与旋转辐条夹角。
2. L1&L2 混合曲率边界
不同于高斯的 L2 边界轮廓,DRK 通过在 L1 边界与 L2 边界之间进行插值,能够灵活的调整其边界的曲率。L1 的边界是连接两根径向基辐条的线段,而 L2 边界是垂直于两根基底辐条的二次曲线。通过允许边界具备更大的曲率半径,DRK 能够很好的适应自然界常见的直线边缘。

3. 自适应锐化函数

高斯函数使用 L2 范数衰减,导致核形状变大时无法提高边界的衰减速率。这是因为衰减因子受尺度参数控制,使形状大小与边界锐化度耦合。为解决这一问题,DRK 加入了额外的锐化函数,对核函数值进行重映射,以调整衰减特性,从而实现更锐利或更模糊的边界控制。


得益于 DRK 的高度灵活性,其能够在一个单位数量下表示各种形状。

4. 冗余图块剔除

三维高斯泼溅的 CUDA 并行采用了二维线程模式。图片被分为多个 16*16 的图块,每一个图块由一个第一维的线程组负责。每个像素由第二维的线程颗粒进行渲染,每个线程需要处理所有触碰到像素所在图块的所有高斯单元。
高斯泼溅判定高斯与图块相交与否的方式是判断图块是否与以高斯中心为中心,最长直径为边长的轴对齐包围盒相交实现的。对于各向异性的高斯单元,这可能会造成很严重的误判导致计算量上升。
在 DRK 的实现中,我们采用了分析核端点所构成的多边形与图块的相交关系,实现了冗余图块的剔除,保证了高效的渲染流程。

5. 冗余图块剔除


在三维高斯的渲染框架中,高斯核的处理顺序基于中心点的深度而非相交点的深度,这可能造成跳跃伪影。DRK 通过维护一个缓存队列,将待处理的核以光线交点深度进行插入排序,并弹出最近的核进行渲染处理,近似了严格排序以避免跳跃伪影。

实验发现缓存排序能够很好的避免由于中心排序造成的错误遮挡关系,实现多视角一致的渲染结果。



实验结果
1. 新视角合成
实验结果表明,DRK 能够在更少的核数量和空间占用下,实现更高质量的新视角渲染。



2. 无需训练的网格模型到DRK转换

DRK 的另一大优势在于其灵活的表示覆盖了三角形、多边形网格的表示空间,能够在无需训练的条件下,直接将已有的网格模型转换为 DRK 参数表示。

同时由于其缓存排序机制,能够实现精确的排序渲染效果。这个应用将海量的已有数字资产与高真实度的重建场景连接起来,能够实现真实世界与游戏电影资产的混合渲染,让当前领域向着元宇宙的目标更进一步。




(文:PaperWeekly)

欢迎分享

发表评论