GS3：旨在实现实时、高质量的新光照和视角合成

GS3简介

GS3（Efficient Relighting with Triple Gaussian Splatting）是一项由浙江大学CAD&CG国家重点实验室开发的创新技术，旨在实现实时、高质量的新光照和视角合成。该技术基于空间和角度高斯表示，采用三重溅射过程，从多视角点光源输入图像中生成复杂物体的真实外观。GS3通过结合Lambertian反射和角度高斯混合，能够有效描述复杂的表面特征，并通过自阴影和全局照明补偿来提升渲染效果。实验结果表明，GS3在具有广泛几何形状和外观变化的样本上表现出色，训练时间和渲染速度显著优于现有技术。该研究为计算机图形学领域的光照和视角合成提供了新的解决方案，具有广泛的应用潜力。

GS3主要功能

1. 实时渲染：GS3能够实现高达90帧每秒的渲染速度，适用于需要实时反馈的场景，如虚拟现实(VR)或增强现实(AR)。
2. 高质量图像合成：处理具有复杂几何形状和外观的物体，生成的图像质量高，能逼真模拟现实世界的光照效果。
3. 三重高斯绘制（Triple Gaussian Splatting）：通过三个步骤处理图像：阴影计算、全局光照补偿和其他效果的处理。
4. 广泛的适用性：适用于从合成/重建对象的渲染图像到手持相机和专业灯光设备拍摄的照片。

GS3技术原理

1. 阴影计算：通过将所有空间高斯向光源方向绘制（splatting），计算出阴影值，并通过一个小型多层感知机（MLP）进行细化。
2. 全局光照补偿：另一个MLP被训练用来计算和添加每个空间高斯的RGB值，以补偿全局光照等其他效果。
3. 最终图像合成：将上述三个因素绘制到相机并混合，产生最终的图像。
4. 空间和角度高斯表示：GS3的工作原理基于空间和角度高斯的表示方法，以及一个三重绘制过程。

GS3应用场景

1. 虚拟博物馆：在虚拟博物馆中重现历史文物在不同光照下的样子，为在线参观者提供丰富的参观体验。
2. 电子商务：在线购物平台可以利用GS3技术，让消费者在购买前看到产品在不同光照下的效果，帮助他们做出更好的购买决策。
3. 电影和游戏制作：在电影视觉效果和游戏开发中，GS3可以用于创建逼真的环境和物体，提高视觉效果的质量。
4. 虚拟现实(VR)和增强现实(AR)：GS3的实时渲染能力使其非常适合VR和AR应用，为用户提供沉浸式体验。
5. 专业摄影和渲染：专业摄影师和3D艺术家可以使用GS3技术来预览和调整光照效果，以获得最佳的拍摄效果。
6. 教育和培训：在教育领域，GS3可以模拟不同的光照条件，帮助学生更好地理解光照对物体外观的影响，适用于建筑学、设计学等专业的教学。

GS3项目入口

• 项目主页：https://gsrelight.github.io/
• GitHub代码库：https://github.com/gsrelight/gs-relight
• arXiv研究论文：https://arxiv.org/pdf/2410.11419