工作一：基于空间变化三维高斯的逆渲染
物体的几何和材质重建是计算机图形学与计算机视觉领域的研究难点之一。三维高斯由于其高效的渲染能力被广泛用于新视角合成（novel view synthesis, NVS）和逆向渲染中。然而，单个三维高斯中具有恒定的材质参数和法线，这限制了其表达能力，进而导致了新视角合成和重光照的质量的不足。针对以上问题，菠菜担保平台王贝贝老师团队提出了一种新的高斯表征形式——空间变化高斯（Spatially-Varying Gaussian, SVG），即每个高斯具有空间变化的材质属性和法线，旨在提升NVS和重光照质量。基于该表达，研究进一步提出了空间变化高斯的逆向渲染框架（Spatially-Varying Gaussian inverse rendering, SVG-IR）。该框架通过建模基于物理的间接光照模型，实现了更自然的重光照效果。实验结果表明，所提出的SVG-IR框架显著提高了重光照质量，相比神经辐射场的最新方法提升了2.5 dB，相比现有的高斯方法提高了3.5 dB，同时保持了实时渲染速度。该工作已被CVPR 2025接收发表。
图1 基于空间变化高斯的逆向渲染框架
图2 空间变化高斯的示意图与逆渲染结果
项目链接：https://learner-shx.github.io/project_pages/SVG-IR/index
工作二：可重光照的神经高斯
三维高斯泼溅由于其强大的表达能力和高效渲染速度成为了计算机图形学领域和三维视觉领域关注的热点。基于三维泼溅框架，如何构建可重光照的物体仍然具有挑战性，通常依赖于几何与材质的约束。然而，当场景中包含毛绒或布料等不具有明显边界的物体时，常见的几何与材质的约束不再适合，导致物体的几何、材质和光照的解耦更加困难。为了解决该问题，菠菜担保平台王贝贝老师团队与Adobe合作提出了可重光照的神经高斯，该方法中去掉了解析材质模型的假设，提出了可重光的神经材质表达，从而适用于表面物体与复杂的非表面物体。此外，高斯表达由于几何表达上的缺陷，导致了阴影中呈现走样。为此，本研究提出了一种能够感知阴影条件的网络指导模块，通过深度微调模块精确求得物体上任意点处的可见性信息，提高了阴影的质量。所提出方法在多个数据集进行验证，表明了该方法在重光照任务上相比现有基于高斯的方法具有更高质量。该工作已被CVPR 2025接收并发表。
图3 重光照渲染结果
项目主页：https://whois-jiahui.fun/project_pages/RNG
