这个CVPR 2021开源项目,能带你遨游宇宙!

公众号CVer

共 1219字,需浏览 3分钟

 ·

2021-10-02 01:03

在神舟十二号平稳落地的那一瞬

你是否像小编一样热血沸腾?

你是否也想像航天员一样遨游太空?

机会来了!!

赶紧扫码Star⭐上车!!


快跟随小编开启宇宙浪漫一日游吧(☆∀☆)


LapStyle 技术原理大揭秘



上面这项 AI 能力来源于飞桨生成对抗网络开发套件 PaddleGAN,现在让我们来揭秘其背后应用的 LapStyle 风格迁移算法,它由百度视觉团队所研发,是一种基于拉普拉斯金字塔的高质量风格化方法,不仅兼顾风格迁移的质量和速度,还能灵活训练各类风格


LapStyle 核心思想是在低分辨率下迁移复杂纹理,再在高分辨率下对纹理的细节进行修正,进而能够渐渐地生成复杂的纹理迁移效果,实现在 512 分辨率下达到 100fps 的速度!!!不同于以往的深度学习风格化,兼顾质量和速度,是一种能够生成高质量风格化图的快速前馈风格化网络୧(॑ധ ॑)୨

LapStyle 网络整体框架如下所示,分为三步实现:
1.    Drafting Network 生成同分辨率的风格化结果
2.    Revision Network 生成带有高分辨率风格化细节的残差图
3.    通过聚合低分辨率风格化结果和高分辨率残差图得到最终结果
 
其中,Drafting Network 采用 Unet + 多尺度 AdaIN 的结构,核心目标是在低分辨率下迁移复杂纹理的雏形。

RevisionNetwork 采用简单的 encoder-decoder 结构,进一步提升网络对复杂纹理的迁移能力,同时在训练中添加了一个 Pixel-Discriminator 判别器实现对抗性学习。


总结一下,LapStyle 可将复杂风格的迁移拆分为低分辨率下的初步迁移和高分辨率下的修正过程,实现风格化质量和速度的有效提升!

PaddleGAN AI 能力大赏 (づ。◕‿◕。) づ



除了宇宙漫游 --LapStyle 风格迁移,PaddleGAN 还开源了许多厉害的 AI 能力!!!

包括人脸融合、人脸表情迁移、语音转唇形(声音对口型)、视频 / 照片修复(上色、超分、插帧)、人脸动漫化、照片动漫化、图像生成等十余种能力,令人大开眼界!


等不及想上手体验?还不快去项目首页一键运行!!!
https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

记得扫码 Star⭐,GET CVPR2021 论文代码,立马 GET 宇宙飞船,傲游太空!

浏览 38
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报