[博客翻译]Ever:用于实时视图合成的精确体积椭球体渲染


原文地址:https://half-potato.gitlab.io/posts/ever/


"精确体积椭球渲染:实时视图合成的质量提升"

我们的研究展示了精确椭球体积渲染(EEVR)技术,这是一种针对实时可微分单发射体体积渲染的方法。与基于3D高斯斑点(3DGS)的最近像素化方法不同,我们的基于原始形状的表示允许进行精确的体积渲染,而非简单的3D高斯贴图融合。

因此,我们的方法避免了3DGS中常见的闪烁和视差密度问题,同时在NVIDIA RTX 4090上以约30帧每秒的速度在720p分辨率下保持流畅。由于基于光线追踪,我们支持如景深模糊和相机变形(如鱼眼镜头效果)等高级渲染技术,这些在像素化方法中难以实现。

实验证明,相比于3DGS和其他后续工作,我们的方法性能更高,融合问题更少,特别是在Zip-NeRF数据集中的大型场景中,它在实时技术中达到了最先进的结果。

3.png

让我们通过一个例子来直观理解:想象一个由两个不同颜色(红色和蓝色)的简单几何体组成的“平面世界”,摄像机环绕它们旋转。传统方法(如3DGS)由于近似处理导致在视图合成时出现断层,形成水平线,而我们的精确渲染则能产生平滑的视差图像,色彩融合区域呈现出紫色。

我们的渲染过程是这样的:通过一簇恒定密度的椭球体投射光线,计算每个光线与椭球体的碰撞距离,从而确定体积渲染的步进。当光线穿过几何体,沿路径的密度增加;离开时,密度相应下降。这样,我们就能通过解析方式在整个体积中积分渲染公式。

下面是我们的渲染效果展示,以及一些EPI(等视图)视频,让你更直观地感受我们的技术优势。此外,我们还提供了额外的数据集供进一步研究。

引用:

Mai等人,2024年,“EVER:实时视图合成的精确体积椭球渲染”,arXiv:2410.01804,计算机视觉领域。

通过这些创新,我们正在推动实时渲染技术的新边界,让观者能够体验到更加真实、无瑕疵的虚拟世界。