DSO：能够生成在物理上更稳定的3D对象

DSO简介

DSO（Direct Simulation Optimization）是一种创新的框架，旨在通过物理模拟器的反馈来优化3D生成器，使其能够生成在物理上更稳定的3D对象。它通过构建带有稳定性标签的3D对象数据集，并利用直接偏好优化（DPO）或直接奖励优化（DRO）来微调3D生成器，从而显著提高生成对象的稳定性。DSO框架的优势在于它无需在测试时进行优化，因此速度更快且更稳定。此外，它不需要大量的真实3D数据作为训练数据，而是可以通过自动生成的数据来收集模拟反馈，从而实现自我改进。实验结果表明，DSO微调后的模型不仅在稳定性上优于基线方法，还在几何保真度上有所提升，并且能够很好地泛化到训练时未见过的图像提示。

DSO主要功能

1. 生成物理上稳定的3D对象：DSO通过优化3D生成器，使其能够生成在重力作用下能够自支撑的3D对象。这对于制造和模拟等实际应用至关重要。
2. 提高生成速度和稳定性：DSO优化后的生成器在测试时无需额外的优化步骤，能够快速生成稳定的3D对象，显著提高了生成效率。
3. 无需真实3D数据的自改进：DSO框架可以利用自动生成的数据和物理模拟器的反馈来训练模型，无需大量的真实3D数据，降低了数据收集的成本。
4. 泛化能力：DSO优化后的模型能够很好地泛化到训练时未见过的图像提示，生成符合物理约束的3D对象。
5. 提升几何保真度：在优化物理稳定性的同时，DSO还能够保持甚至提升生成对象的几何保真度，确保生成的3D对象在视觉上也符合输入图像。

DSO技术原理

1. 物理模拟器的反馈：DSO使用物理模拟器（如MuJoCo）对生成的3D对象进行评估，根据对象在模拟中的稳定性（例如倾斜角度）给出稳定性标签。
2. 直接偏好优化（DPO）：DPO通过成对的偏好数据来优化生成器，使得生成器更倾向于生成稳定性更高的对象。它基于Bradley-Terry模型，通过对比稳定和不稳定对象的生成概率来优化模型。
3. 直接奖励优化（DRO）：DRO是DSO提出的一种新目标，它不需要成对的偏好数据。DRO通过直接奖励稳定对象并惩罚不稳定对象来优化生成器，简化了训练过程。
4. 数据集构建：DSO通过自动生成的3D对象和物理模拟器的反馈来构建训练数据集。这些数据集包含带有稳定性标签的3D对象，用于微调生成器。
5. 微调生成器：使用AdamW优化器和LoRA技术对预训练的扩散模型（如TRELLIS）进行微调。微调过程中，模型通过最小化DPO或DRO损失函数来学习生成更稳定的3D对象。
6. 自我改进：DSO框架允许生成器通过自我评估和模拟反馈来自我改进，即使没有大量的真实3D数据，也能通过生成的数据进行训练。

DSO应用场景

1. 3D打印：DSO能够生成自支撑的3D模型，确保打印出的物体在重力作用下能够稳定站立，减少打印失败的风险，提高3D打印的成功率和实用性。
2. 虚拟现实（VR）和增强现实（AR）：在VR和AR中，稳定的3D模型对于构建逼真的虚拟环境至关重要。DSO可以生成符合物理规则的3D对象，提升用户体验。
3. 游戏开发：游戏中的3D模型需要在物理引擎下稳定运行。DSO可以生成符合物理约束的3D对象，减少游戏开发中的调试时间和成本，提升游戏的真实感。
4. 机器人仿真：在机器人仿真中，稳定的3D模型对于模拟真实环境中的物体交互非常重要。DSO可以生成稳定的3D对象，帮助机器人更好地理解和操作环境。
5. 建筑设计：DSO可以生成稳定的3D建筑模型，帮助建筑师在设计阶段评估建筑的稳定性和可行性，减少后续施工中的问题。
6. 工业设计：在工业产品设计中，DSO可以生成稳定的3D模型，确保产品在实际使用中的稳定性和安全性，提高产品的可靠性和用户体验。

DSO项目入口

• GitHub代码库：https://github.com/RuiningLi/dso
• arXiv研究论文：https://arxiv.org/abs/2503.22677