【论文解读】CVPR 2021 妆容迁移 论文+ 代码 汇总，美得很美得很！

妆容迁移是指将目标图上的妆容直接迁移到原图上的技术。相比传统贴妆技术，妆容迁移具有极高的自由度，它可以让用户不再局限于设计师设计好的妆容，而是可以自主、任意地从真实模特图中获取妆容，极大地丰富了妆容的多样性。此外，妆容迁移技术不仅可以迁移五官妆容信息，还可以对肤色、光影等信息进行整体迁移。目前，基于生成对抗网络的模型BeautyGAN和PSGAN已经在该领域取得了较好的效果。

今天分享 CVPR 2021 两篇最新的妆容迁移相关的论文

Lipstick ain't enough: Beyond Color-Matching for In-the-Wild Makeup Transfer

论文/paper：https://arxiv.org/abs/2104.01867

代码/code：https://github.com/VinAIResearch/CPM

视频：https://www.bilibili.com/video/BV1954y137MQ/

摘要：

妆容转移是将参考图像中的妆容样式应用于源面部的任务。现实生活中的妆容是多样的、野性的，不仅涵盖了色彩的变化，也涵盖了图案，比如贴纸、腮红、珠宝等，然而现有的作品忽略了后者的成分，局限了妆容向色彩操控的转移，只注重淡妆风格。在这项工作中，我们提出了一个整体的化妆转移框架，可以处理所有提到的化妆组件。它由一个改进的颜色转移分支和一个新的模式转移分支组成，用于学习所有化妆属性，包括颜色、形状、纹理和位置。为了训练和评估这样一个系统，我们还引入了新的化妆数据集，用于真实和合成的极端化妆。实验结果表明，我们的框架实现了the state of the art的效果，无论是轻和极端的化妆风格

贡献：

简言之，我们的贡献是：

（1）我们提出了一个结合色彩变换和图案添加的妆容，并制定了一个全面的化妆转移方法，适用于光和极端风格

（2） 我们设计了一种新的结构，它有两个分支用于颜色和图案的传递，并且我们建议在训练两个网络分支时使用UV空间中的扭曲面来消除输入面在形状、头部姿势和表情方面的差异

（3） 我们引入了新的妆容迁移数据集，其中包含了在以前的数据集中没有考虑到的极端风格

（4） 我们获得了state-of-the-art的定量和定性性能。

框架图

总而言之，我们的方法包括以下三个步骤。首先，将输入图像分别转换为UV纹理贴图。第二，纹理贴图被传递到两个平行的分支，用于基于颜色和基于图案的妆容迁移。第三，通过合并这些分支的输出来形成妆容迁移纹理，并将该UV纹理映射转换到图像空间以获得最终的输出。

效果图

Spatially-invariant Style-codes Controlled Makeup Transfer

论文/paper：http://www.shengfenghe.com/?attachment_id=26109&download=1

代码/code：https://github.com/makeuptransfer/SCGAN

视频：

摘要：

未对准的参考图像进行妆容迁移是具有挑战性的任务。以前的方法通过计算两幅图像之间的像素级对应来克服这一障碍，这种方法不精确且计算量大。在本文中，我们从不同的角度将妆容迁移问题分解为两步提取-分配过程。为此，我们提出了一种基于风格的可控GAN模型，该模型由三个部分组成，每个部分分别对应于目标风格编码、人脸特征提取和化妆融合。具体地，特定于部件的样式编码器将参考图像的组件式构图样式编码为中间潜在空间W中的样式代码。样式代码丢弃空间信息，因此对空间错位保持不变。另一方面，样式码嵌入了组件信息，使得能够从多个参考中灵活地进行部分补码编辑，该样式码与源标识特征一起集成到一个具有多个AdaIN层的补码融合解码器中，以生成最终结果。我们提出的方法通过支持卸妆、阴影可控的补妆转移和部分特定的补妆转移（即使在空间错位较大的情况下），在补妆转移上表现出极大的灵活性。

贡献：

我们提出了一个与现有方法相比具有最佳灵活性的全自动妆容迁移模型。通过编辑样式代码，无需额外的计算工作，就可以轻松地实现全局/局部色调转移和去除以及阴影控制。

我们将妆容迁移问题分解为两步提取-分配过程。提出了一种基于样式的网络PSEnc，将化妆样式映射为组件式样式代码。这种设计消除了空间错位问题。

我们提出的模型即使在源图像和参考图像之间存在较大的空间错位的情况下也能达到最先进的性能。

架构图

解析：提出的方法（SCGAN）的概述。在（a）中，参考图像y被分解为三部分。part-specific样式编码器提取每个部分的特征，并将其映射到一个分离的样式潜在空间W。人脸身份编码器提取源图像x的人脸身份特征。妆容融合解码器将样式码w与人脸身份特征融合，生成最终结果xˆ. (b） 显示PSEnc的映射模块(c） 是MFDec中装有AdaIN层的熔合块。

效果图

好的，今天的分享就到这里，如果喜欢记得关注我，给我一个三连，感谢

往期精彩回顾




适合初学者入门人工智能的路线及资料下载
机器学习及深度学习笔记等资料打印
机器学习在线手册
深度学习笔记专辑
《统计学习方法》的代码复现专辑
AI基础下载
机器学习的数学基础专辑
温州大学《机器学习课程》视频
本站qq群851320808，加入微信群请扫码：