Shining Yourself：商汤联合西安交通大学推出的虚拟试戴技术

0 30

Shining Yourself简介

“Shining Yourself”是由西安交通大学和商汤科技研究团队共同开发的一种高保真饰品虚拟试戴技术。该技术基于扩散模型，首次实现了包括手镯、戒指、耳环和项链在内的多种饰品的虚拟试戴功能。通过迭代式的姿态感知佩戴面具预测和面具引导的注意力机制，该方法能够在不同姿态和尺度下精准对齐饰品与模型，同时保留饰品的复杂几何结构和细节特征，生成逼真的试戴效果。这一创新技术不仅填补了饰品虚拟试戴领域的空白，还为零售、电商和广告等行业提供了强大的技术支持，具有广泛的应用前景。

Shining Yourself主要功能

高保真饰品虚拟试戴：能够将各种饰品（如手镯、戒指、耳环和项链）以逼真的效果虚拟试戴到目标模型上，同时保持饰品的外观和结构细节。
姿态和尺度自适应：即使在饰品与模型之间存在较大姿态和尺度差异的情况下，也能实现精准对齐，生成自然的试戴效果。
无需额外输入：仅需参考饰品图像、目标模型图像和一个粗略的边界框，无需额外的轮廓、骨架或语义图，即可完成虚拟试戴。
跨品类支持：适用于多种饰品类型，包括手镯、戒指、耳环和项链等，并且在不同类型的饰品上均能保持高质量的试戴效果。

Shining Yourself技术原理

迭代式姿态感知佩戴面具预测：
- 从粗略的边界框开始，通过迭代的方式逐步细化佩戴面具。
- 利用生成过程中的中间特征来估计更准确的佩戴面具，并将其作为输入以迭代预测更精确的面具。
- 通过正则化损失函数确保预测的佩戴面具与真实佩戴面具的一致性。
面具引导的注意力机制：
- 利用参考饰品面具与生成的注意力图相结合，隐式地学习参考面具与佩戴面具之间的映射关系。
- 通过约束注意力层，确保生成的饰品在几何结构上与参考饰品保持一致。
- 采用下采样、上采样和掩码操作，将参考饰品的几何结构信息注入到生成过程中。
扩散模型与ReferenceNet：
- 基于扩散模型（如潜扩散模型）进行图像生成，通过编码器将输入图像嵌入低维潜在空间，再通过去噪网络逐步恢复图像。
- 使用ReferenceNet模块提取参考饰品图像的特征，并将其注入到去噪网络中，以保留饰品的细节和结构。
损失函数设计：
- 结合L1损失、L2损失和L3损失，分别用于扩散模型的训练、佩戴面具的正则化以及生成饰品与参考饰品的一致性约束。
- 通过动态调整损失函数的权重，确保模型在早期学习佩戴面具，在后期专注于生成细节。

Shining Yourself应用场景

电商平台商品展示：为在线珠宝和饰品店铺提供虚拟试戴功能，消费者可以在购买前直观地看到饰品佩戴在自己身上的效果，提升购物体验，减少因效果不符导致的退货。
个性化饰品定制：帮助客户在定制饰品时预览不同款式、材质和尺寸的佩戴效果，便于客户根据自身喜好和需求做出选择，提高定制服务的满意度。
时尚品牌营销推广：品牌可以通过虚拟试戴功能在社交媒体、官网等渠道展示新品饰品，吸引更多用户关注和参与互动，提升品牌影响力和产品销量。
虚拟形象装扮：在虚拟社交平台或游戏中，用户可以使用该技术为自己的虚拟形象试戴各种饰品，增强虚拟形象的个性化和时尚感，提升用户的参与度和沉浸感。
线下店铺体验增强：在实体店铺中，通过虚拟试戴设备为顾客提供快速试戴体验，节省顾客试戴时间，提高店铺运营效率，同时增加顾客对产品的兴趣和购买意愿。
时尚教育与培训：在时尚设计或造型培训课程中，教师可以利用该技术向学生展示不同饰品搭配在不同脸型、发型和服装上的效果，帮助学生更好地理解和学习饰品搭配技巧。