SparseFlex：香港中文大学等推出的3D基础模型

SparseFlex简介

SparseFlex是由清华大学、VAST和香港中文大学的研究团队共同开发的一种新型稀疏结构等值面表示方法，旨在实现高分辨率和任意拓扑的3D形状建模。它结合了Flexicubes的准确性和稀疏体素结构，能够直接从渲染损失中进行可微分的网格重建，有效处理开放表面和复杂内部结构。通过视锥感知分段体素训练策略，SparseFlex显著降低了内存消耗，支持高达1024³的分辨率训练。基于此，团队还构建了一个完整的3D形状建模流程，包括变分自编码器（VAE）和修正流变换器，用于高质量的3D形状生成。SparseFlex在重建精度和生成质量上均达到了新的高度，为3D形状表示和建模领域带来了重大突破。

SparseFlex主要功能

1. 高分辨率3D形状建模：SparseFlex能够实现高达1024³分辨率的3D形状建模，支持复杂几何结构和开放表面的高保真重建。
2. 任意拓扑支持：该方法可以处理包括开放表面和复杂内部结构在内的任意拓扑形状，适用于各种复杂的3D场景。
3. 高效训练与内存优化：通过视锥感知分段体素训练策略，SparseFlex显著降低了训练过程中的内存消耗，使得高分辨率训练成为可能。
4. 高质量3D形状生成：基于SparseFlex的变分自编码器（VAE）和修正流变换器能够生成高质量、细节丰富的3D形状，并支持图像条件的3D形状生成。
5. 可微分网格重建：SparseFlex支持从渲染损失中直接进行可微分的网格重建，避免了传统方法中需要预处理为封闭网格的步骤，保留了更多细节。

SparseFlex技术原理

1. 稀疏结构等值面表示：SparseFlex基于Flexicubes，采用稀疏体素结构代替传统的密集网格。这种稀疏性显著减少了内存消耗，并允许有效修剪开放边界附近的体素，从而自然地表示开放表面。
2. 视锥感知分段体素训练策略：在训练过程中，仅激活相机视锥内的SparseFlex体素，显著减少了计算和内存开销。通过自适应调整视锥参数，该策略还支持仅使用渲染监督来重建网格内部结构。
3. 变分自编码器（VAE）架构：SparseFlex使用点云作为输入，通过稀疏变换器编码器-解码器将结构化特征压缩到更紧凑的潜在空间中。解码器中的自修剪上采样模块进一步细化稀疏体素结构，提高重建质量。
4. 渲染损失驱动的优化：SparseFlex利用渲染损失进行端到端优化，直接比较生成网格的渲染图像与真实数据，避免了预处理步骤，更好地保留了细节。
5. 修正流变换器：在学习到的潜在空间上训练修正流变换器，用于高质量的图像条件3D形状生成。这种方法能够根据输入图像生成与之匹配的3D形状，支持高质量的单图像3D生成。

SparseFlex应用场景

1. 影视特效制作：高分辨率和任意拓扑的3D建模能力使其能够快速生成高质量的3D模型，提升特效制作效率和质量。
2. 游戏开发：能够快速生成复杂的3D游戏场景和角色模型，支持高分辨率细节，提升游戏视觉效果。
3. 建筑设计：快速生成建筑模型的高分辨率网格，支持复杂结构和内部细节的建模，便于设计优化和可视化。
4. 虚拟现实（VR）和增强现实（AR）：为VR和AR应用提供高保真3D模型，提升沉浸感和交互体验。
5. 工业设计：用于生成复杂的产品设计模型，支持高分辨率细节和任意拓扑，便于设计验证和展示。
6. 文化遗产保护：高精度重建文物和历史建筑的3D模型，支持开放表面和复杂内部结构，便于数字化保护和研究。

SparseFlex项目入口

• 项目主页：https://xianglonghe.github.io/TripoSF/
• Github代码库：https://github.com/VAST-AI-Research/TripoSF
• HuggingFace模型：https://huggingface.co/VAST-AI/TripoSF
• arXiv技术论文：https://arxiv.org/pdf/2503.21732