腾讯开源 GFP-GAN 代码
共 1316字，需浏览 3分钟
·
2021-09-02 11:30
点击上方“机器学习与生成对抗网络”，关注星标
获取有趣、好玩的前沿干货！
文章来源 相约机器人
通常人面部修复将使用面部先验，例如几何和参考。然而当输入质量低时，这些并不是特别有用，因为它不能提供准确的几何先验或当高质量参考不可访问时，因此它们只能在有限的范围内应用于现实世界的场景。
腾讯 AI 的研究人员提出了他们的新GFP-GAN 模型，以在一次前向传递中实现真实性和保真度的良好平衡。该模型由退化去除模块和预先训练的人脸生成器组成。它们通过直接潜在代码映射连接到使用 CS SFT 层的粗到细通道。CS-SFT 层对分割的特征执行空间调制，并让左侧的特征直接通过以更好地保存信息，从而允许所提出的方法结合生成先验，同时有效地重新训练高保真度。此外，研究人员在局部鉴别器中引入了面部成分损失，以进一步增强感知面部细节和身份保留增益，从而提高整体质量。
GFP-GAN 框架利用丰富多样的生成面部，然后在面部恢复中创建真实性和保真度的良好平衡。这是通过通道分割空间特征变换层实现的，能够在真实世界图像的准确性和泛化方面超越所有其他方法。广泛的比较证明了这种卓越的能力，它超越了之前所做的任何事情。
关键点：
研究人员使用丰富多样的面部先验进行面部修复。 提出的具有 CS-SFT 层的 GFP-GAN 在一次前向传递中实现了保真度和纹理忠实度的良好平衡。 根据本文所提出的方法在合成数据集和真实世界数据集上的性能都优于现有技术。
论文：
https://arxiv.org/pdf/2101.04061.pdf
项目：
https://xinntao.github.io/projects/gfpgan
Github：
https://github.com/TencentARC/GFPGAN
猜您喜欢：
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！