TGH：从多视角视频中重建长时间的动态体积视频

TGH简介

Temporal Gaussian Hierarchy（TGH）是由浙江大学CAD&CG国家重点实验室、斯坦福大学和香港科技大学的研究人员联合开发的一种先进的4D场景表示技术。TGH通过构建一个多层次的高斯原语结构，有效地捕捉动态场景中不同区域的变化，以实现对长时间体积视频的紧凑建模。这种方法通过在不同时间尺度上共享高斯原语，显著减少了所需的存储空间和计算资源，同时支持实时渲染，为动态场景的高质量视图合成提供了一种新的解决方案。

TGH主要功能

1. 高效重建长时间体积视频： TGH能够从多视角RGB视频中高效地重建长时间的动态体积视频，这对于AR/VR、游戏和远程呈现等领域至关重要。
2. 减少存储和内存占用： 通过其创新的4D表示方法，TGH显著减少了处理长时间视频所需的存储空间和GPU内存占用。
3. 实时渲染能力： TGH支持实时渲染，使得动态体积视频的交互式查看成为可能，增强了用户体验。
4. 高质量视图合成： 该技术能够在保持体积视频高质量渲染的同时，实现快速的视图合成。

TGH技术原理

1. Temporal Gaussian Hierarchy（TGH）结构： TGH通过构建一个树状的层次结构来管理不同时间尺度的动态场景，每个层次包含多个时间片段，以适应不同速度的运动。
2. 多级高斯原语： 在TGH的每个层级中，使用一组4D高斯原语来描述场景，这些原语能够高效地表示场景的几何和外观。
3. 时间冗余利用： TGH通过在不同层级上建模不同变化程度的场景区域，并在不同时间片段上共享高斯原语，以减少高斯原宇的数量，有效利用时间冗余。
4. 紧凑的外观模型（Compact Appearance Model）： 结合漫反射和视角依赖的高斯原语，以减少模型大小，同时保持渲染质量。
5. 硬件加速的光栅化流水线： 开发了一个基于硬件加速技术的光栅化流水线，以提高渲染速度，使得实时渲染成为可能。
6. 恒定的GPU内存使用： 由于TGH的结构特性，GPU内存使用在训练或渲染过程中几乎保持恒定，不受视频长度的影响。
7. 优化的存储策略： 通过Huffman编码等压缩技术，进一步减少了模型在磁盘上的存储需求。

TGH应用场景

1. 增强现实（AR）和虚拟现实（VR）： TGH可以用于创建高质量的动态场景，为用户提供沉浸式的AR/VR体验，如虚拟旅游或游戏。
2. 电影和视频制作： 在电影制作中，TGH可以用于生成复杂的动态背景或特效，减少实际拍摄的成本和限制。
3. 远程呈现： 通过TGH技术，可以实现远程会议中参与者的实时三维呈现，提升远程交流的真实感。
4. 游戏开发： 在游戏开发中，TGH可以用于渲染高质量的动态环境和角色，提升游戏的逼真度和玩家体验。
5. 模拟和训练： TGH可以用于创建逼真的训练模拟环境，如军事训练或手术模拟，提供更加真实的训练场景。
6. 教育和展览： 在博物馆或教育领域，TGH可以用于重现历史事件或科学现象，提供互动式学习体验。

TGH项目入口

• 项目主页：https://zju3dv.github.io/longvolcap/
• arXiv技术论文：https://arxiv.org/pdf/2412.09608