今天给大家推荐的是达摩院开源的AI妆容迁移项目。
AI在垂直领域的商业落地是我一直都看好的，尤其是在美妆行业。
这样一个消费力极强的、女性占比极高的行业，市场钱景真的是太猛了。
美妆的品牌方可以让用户很方便试用，女性用户也可以不化妆就能有一张漂亮妆容的照片，当然还有很多可用场景，有好思路也可以在评论区一起聊聊。
扫码加入AI交流群
获得更多技术支持和交流
（请注明自己的职业）
项目简介
SHMT 基于潜在扩散模型，采用“解耦-重构”范式，以自监督方式解决了以往依赖不准确伪配对数据的问题。通过拉普拉斯金字塔分解纹理细节，SHMT能灵活处理不同风格的妆容，保留或舍弃源图像内容细节。创新的迭代双重对齐（IDA）模块，可动态调整扩散模型的注入条件，纠正内容与妆容表示间因域差距导致的对齐误差。SHMT在图像真实性、内容保留和妆容保真度上超越现有技术，为化妆迁移任务带来全新解决方案。
DEMO
在简单妆容风格上的定性比较。
在复杂妆容风格上的定性比较。
技术特点
自监督学习策略
SHMT采用自监督学习方法，无需依赖不准确的伪配对数据进行训练。它通过“解耦-重构”的方式，从人脸图像中提取内容和妆容表示，再利用这些解耦的信息重构原始输入图像，从而避免了传统方法中因伪配对数据导致的模型训练误导，提高了模型的准确性和可靠性。
层次化纹理细节处理
该技术引入拉普拉斯金字塔，对输入图像的纹理信息进行层次化分解。这使得SHMT能够根据不同妆容风格的需求，灵活地控制保留或丢弃源图像的内容细节。例如，在简单妆容中可保留源图像的细微表情、雀斑等细节；而在复杂妆容中，则可更多地转移参考图像的高频细节，增强了模型对多样化妆容风格的适应能力。
迭代双重对齐模块
SHMT设计了创新的迭代双重对齐（IDA）模块，与扩散模型的逐步去噪特性相结合。在每个去噪步骤中，IDA利用中间结果动态调整注入条件，有效纠正因内容和妆容表示之间域差距导致的对齐误差。这不仅提高了妆容迁移的准确性，还使模型能够以空间感知的方式控制妆容风格，并且IDA模块参数量轻，仅约11M，不会给模型带来过重负担。
高效的扩散模型架构
基于潜在扩散模型（LDM），SHMT在预训练自编码器的潜在空间中进行扩散过程，降低了模型的计算复杂度。与传统的生成对抗网络（GAN）相比，这种方法无需复杂的对抗训练和繁琐的损失函数设计，同时提供了更优的性能表现，能够生成更高质量、更真实的图像结果。
强大的泛化能力
SHMT在多个数据集上进行了验证，包括MT、Wild-MT和LADN等，展现了出色的泛化能力。它能够处理包含大姿态、表情变化以及复杂妆容风格的图像，对不同年龄、性别、姿态和表情的人脸图像均具有良好的鲁棒性，进一步证明了其在实际应用中的广泛适用性。
项目链接
https://github.com/Snowfallingplum/SHMT
论文链接
https://arxiv.org/abs/2412.11058
关注「开源AI项目落地」公众号
（文：开源AI项目落地）