MagicClay：Adobe推出的3D建模工具

MagicClay简介

MagicClay是由Adobe 推出3D建模工具。该技术通过混合使用有符号距离场（SDF）和三角形网格的表示方法，允许用户根据文本提示对3D模型的特定区域进行雕塑，同时保留模型的其他部分和属性不变。MagicClay的先进之处在于其能够实现高质量的局部编辑，并且与现有的网格雕塑工作流程兼容，为艺术家和设计师提供了一种新的工具，以更直观、更精确的方式创作和修改3D形状。

MagicClay主要功能

1. 区域性编辑：用户可以选择输入网格的特定区域，并根据文本提示进行粗略编辑，MagicClay会自动生长该区域以匹配文本提示，实现局部形状的修改。
2. 保持拓扑有效性：在编辑过程中，MagicClay确保网格保持拓扑有效性，即不产生非流形边或顶点。
3. 属性保留：在编辑选定区域时，MagicClay能够保留输入网格的其他属性，如纹理、细分和绑定参数。
4. 与现有工作流程兼容：MagicClay设计为与现有的网格雕塑工具兼容，允许艺术家使用熟悉的工具进行创作。
5. 顺序编辑能力：用户可以对同一网格进行多次基于提示的编辑，实现顺序雕塑。

MagicClay技术原理

1. 混合表示：结合了网格（表面）和有符号距离场（SDF）（体积）的表示方法，以及一个共享的外观网络，用于编码输入3D坐标的颜色信息。
2. 多视图一致性损失：通过多视图一致性损失，保持SDF和网格在不同视图下的一致性，确保两者的RGB渲染、法线和不透明度图保持一致。
3. 局部化和冻结损失：通过冻结非编辑区域的网格顶点和SDF值，确保编辑仅发生在用户选定的区域内。
4. 平滑性损失：利用网格的显式表示，定义平滑性损失，以保持网格表面的平滑性。
5. Eikonal损失：用于确保SDF学习到有效的距离场表示，通过Eikonal方程来正则化SDF。
6. 动态重网格化：使用ROAR框架根据SDF信号动态更新网格拓扑，包括面分割和边折叠，以适应形状变化。
7. 高分辨率SDF渲染：利用网格与SDF的一致性，减少SDF渲染所需的样本数量，实现高分辨率渲染，捕捉更多细节。
8. 文本引导的形状优化：使用Score Distillation Sampling (SDS)技术，将文本提示注入SDF表示，并通过一致性损失和拓扑更新传播到网格。

MagicClay应用场景

1. 游戏设计：在游戏开发中，MagicClay可以用来快速雕塑和修改角色、道具和环境的3D模型，以适应游戏世界观和美学需求。
2. 电影和动画制作：在电影和动画产业中，该工具可以用于创建和调整复杂的3D角色和场景，以满足导演和设计师的创意愿景。
3. 工业设计：设计师可以利用MagicClay对产品原型进行细节调整，如汽车、家具或其他工业产品，以优化设计和功能。
4. 建筑可视化：建筑师和城市规划者可以使用MagicClay对建筑模型进行局部修改，如添加装饰性元素或调整结构布局，以更好地展示设计概念。
5. 虚拟现实和增强现实：在VR和AR应用中，MagicClay可以用于创建和编辑虚拟环境和对象，提供更加丰富和互动的用户体验。
6. 教育和培训：在教育领域，MagicClay可以作为教学工具，帮助学生理解和实践3D建模的基本概念，特别是在艺术和设计课程中。

MagicClay项目入口

• 项目主页：https://amirbarda.github.io/MagicClay.github.io
• GitHub代码库：https://github.com/amirbarda/MagicClay
• arXiv技术论文：https://arxiv.org/pdf/2403.02460