DualGS：打造沉浸式以人为中心的立体视频

DualGS简介

DualGS是由上海科技大学与NeuDim数字技术（上海）有限公司联合研发的一种体积视频技术。该技术通过创新的双高斯表示法，分别捕捉人体的运动和外观，实现了高保真的实时渲染。DualGS的核心在于其独特的粗到细训练策略，能够有效地跟踪复杂的人体动作，同时保持高质量的视觉效果。此外，DualGS还具备卓越的压缩能力，能够将数据压缩至原始大小的120倍，仅需约350KB的存储空间，适合在低端设备上使用。这使得用户能够在虚拟现实环境中自由导航，享受沉浸式的观看体验，推动了沉浸式媒体的广泛应用。

DualGS主要功能

1. 实时高保真渲染：DualGS能够实时渲染复杂的人体动作，提供高质量的视觉体验，适用于VR等沉浸式环境。
2. 运动捕捉与跟踪：该技术能够精确捕捉和跟踪人体的动态表现，确保在快速运动中保持稳定性和准确性。
3. 高效压缩：DualGS实现了高达120倍的压缩比，每帧仅需约350KB的存储空间，便于在低端设备上使用。
4. 多视角支持：支持从多个视角观看表演，用户可以自由导航，增强沉浸感。
5. 便捷的集成：该技术可以无缝集成到现有的CG引擎和VR平台中，方便开发者使用。

DualGS技术原理

1. 双高斯表示：DualGS采用双高斯模型，分别表示运动（关节高斯）和外观（皮肤高斯），实现运动与外观的显式解耦。
2. 粗到细训练策略：通过先进行整体运动预测的粗对齐，再进行细粒度的优化，提升了跟踪精度和渲染质量。
3. 运动冗余减少：通过将运动和外观分开表示，显著减少了运动冗余，提高了时间一致性。
4. 熵编码与编解码压缩：采用熵编码和编解码压缩技术，有效压缩运动和外观属性，减少存储需求。
5. 持久代码本：为处理存储密集的球谐属性，设计了持久代码本，进一步提高了压缩效率。

DualGS应用场景

1. 虚拟现实(VR)：在VR环境中提供沉浸式的音乐表演和戏剧观看体验，用户可以仿佛置身于现场。
2. 游戏开发：游戏开发者可以利用DualGS技术生成逼真的角色动画，提升游戏的互动性和真实感。
3. 电影和电视制作：用于创建高分辨率的动态角色和场景，提供更加丰富和逼真的视觉特效。
4. 在线教育和训练：模拟真实环境中的培训场景，如医学模拟或体育训练，提供更加实际的练习体验。
5. 虚拟会议和活动：在虚拟会议中创建演讲者或参与者的动态3D形象，提高远程交流的现场感。
6. 文化遗产保护：通过数字化记录和再现历史人物或事件，为文化遗产的展示和教育提供新的方式。

DualGS项目入口

• 项目主页：https://nowheretrix.github.io/DualGS/
• arXiv研究论文：https://arxiv.org/pdf/2409.08353