NutWorld：新加坡国立大学等推出的型视频处理框架

NutWorld简介

NutWorld 是由新加坡国立大学、南洋理工大学和 Skywork AI 联合开发的新型视频处理框架。它能够将日常拍摄的单目视频高效转换为动态 3D 高斯表示（Gaussian Splatting），并支持多种下游任务，如视频编辑、帧插值和视频对象分割等。NutWorld 的核心是时空对齐高斯（STAG）表示，通过结构化的高斯原语和深度、光流正则化，解决了单目视频中的空间模糊和运动不确定性问题。该框架能够在单次前馈传播中处理任意长度的视频，同时保持时空一致性并实现实时推理。NutWorld 在视频重建和多种下游任务中展现出高保真度和多功能性，为视频处理领域提供了一种高效且通用的新方法。

NutWorld主要功能

1. 高效视频表示：
   • 将日常拍摄的单目视频转换为动态 3D 高斯表示（Gaussian Splatting），实现高保真视频重建。
   • 支持任意长度的视频处理，通过段式推理保持时空一致性。
2. 多种下游任务支持：
   • 新视图合成：生成视频的多视角渲染，适用于虚拟现实和增强现实。
   • 一致深度估计：提供时空一致的深度图，用于 3D 场景理解。
   • 视频对象分割：通过高斯原语的动态属性，实现视频中对象的分割和跟踪。
   • 视频编辑：结合多模态大语言模型（MLLM），支持帧级编辑和风格化。
   • 帧插值：生成中间帧，提升视频流畅度，适用于慢动作和视频修复。
3. 实时处理能力：
   • 实现了高效的单次前馈传播，能够在 1.8 秒内重建 90 帧视频，渲染速度达到 450 FPS。

NutWorld技术原理

1. 时空对齐高斯（STAG）表示：
   • 规范空间：采用正交投影和固定相机姿态，消除对显式相机姿态估计的需求，同时避免尺度模糊。
   • 结构化高斯：每个动态高斯原语与特定像素位置和时间戳相关联，通过像素对齐的方式预测 3D 高斯中心和动态属性。
2. 无优化流程：
   • Transformer 编码器：处理输入视频帧，捕捉时空对应关系，生成编码特征。
   • 层次化上采样器：逐步提升特征分辨率，生成足够数量的 STAG。
   • STAG 解码器：从特征图中解码静态高斯属性和动态变形场，实现连续时间插值。
3. 深度和光流正则化：
   • 深度正则化：利用预训练的单目深度估计模型，通过尺度和偏移不变损失函数，解决深度模糊问题。
   • 光流正则化：利用预计算的光流场，通过全局轨迹监督，确保高斯原语在时间上的连贯性。
4. 段式推理：
   • 将长视频分割为重叠的视频段，通过共享帧保持时空一致性，支持高效并行处理。
5. 大规模预训练：
   • 在 MiraData 和 RealEstate10K 数据集上进行预训练，提升模型对多样化视频内容的泛化能力。

NutWorld应用场景

1. 自动驾驶与机器人视觉：通过一致深度估计和动态场景理解，帮助自动驾驶系统和机器人更好地感知周围环境，预测物体运动，提升导航和避障能力。
2. 视频编辑与内容创作：支持帧插值、视频分割和风格化编辑，能够实时生成慢动作效果、替换视频背景或对视频内容进行风格化处理，提升视频创作的灵活性和效率。
3. 虚拟现实（VR）与增强现实（AR）：利用新视图合成功能，为 VR 和 AR 应用生成高质量的多视角视频内容，增强沉浸感和交互体验。
4. 影视后期制作：在影视特效和后期制作中，快速生成高质量的动态场景重建和多视角渲染，降低制作成本，缩短制作周期。
5. 体育赛事分析：通过视频对象分割和运动轨迹跟踪，实时分析运动员的动作和比赛场景，为教练和观众提供更丰富的数据分析和视觉体验。
6. 在线教育与远程协作：在远程教学和协作会议中，通过实时视频编辑和增强功能，提升视频内容的可读性和互动性，例如添加注释、高亮显示重要对象等。

NutWorld项目入口

• GitHub代码库：https://github.com/Nut-World/NutWorld/
• arXiv技术论文：https://arxiv.org/pdf/2502.03465