我用GAN实现了魔法照片!效果太逼真!

公众号CVer

共 1523字,需浏览 4分钟

 ·

2021-09-18 11:30

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

每到开学季,总有一些人会幻想有一张来自霍格沃茨的录取通知书会被猫头鹰叼着送给自己,然后穿过九又四分之三站台、登上火车,开往神秘的校园……在无数人心中堪称经典的《哈利·波特》系列最近又频频登上热搜,一代人童年回忆中的魔法世界再度绽放出惊人的力量。


对于很多“哈迷”来说,故事中魔法世界里人物会动的照片是他们开启神秘之旅的第一步:手上的报纸、路边的海报、墙上的挂画,栩栩如生的真实人物场景在活动,让不少人打开了对魔法世界的想象之窗。这两天,小编就机缘巧合发现了一位资深“哈迷”竟然利用AI实现了魔法照片,只要上传自己的头像照片,就能穿上霍格沃茨对应学院的长袍围巾,在相框里做出各种表情动作!


先来看看魔法照片的呈现效果吧~



等不及想直接体验?请接受下方魔法!


https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md


这位魔法照片的开发者“行远见大”也是一位妥妥的“鹰院男孩”,从小就是《哈利·波特》的书迷。据说在英国读书时,他会在爱丁堡的大象咖啡厅、国王十字火车站的九又四分之三站台、约克的对角巷等各个角落寻找那个戴着眼镜的黑发小男孩,追逐自己曾经天真的梦想。也是梦想成真的一位开发者了!


各位狮院、獾院、鹰院、蛇院的男孩女孩们,心动了吗?如果也想获得属于自己的专属魔法照片,根据这位开发者的项目说明,小编发现其实只需要两步:


第一步,利用百度飞桨图像分割套件PaddleSeg人像扣图,将目标人物的头部抠出贴合至哈利波特的背景相框中;



第二步,使用飞桨生成对抗网络开发套件PaddleGAN中的FOM算法,让照片动起来!

没错,这位开发者定制魔法照片背后,正是使用了开源界频上Trending的飞桨生成对抗网络套件PaddleGAN,其中内置的First Order Motion可以实现现让静态照片中的人物做出任意表情动作。同时,First Order Motion算法也全面升级,视频清晰度提升一倍的同时,新增人脸增强特效,丰富地刻画了脸部细节,使得脸部动态表情栩栩如生!



以下也附上实践操作的相关代码,欢迎各位巫师动手尝试哦~


STEP 1:使用PaddleSeg中的deeplabv3算法进行人像抠图换背景



以格兰芬多学院为例,大家只需修改三个参数:

  • bg_img_path:背景图片,即选择你喜欢的一所学院。

  • save_dir:魔法照片的保存路径。

  • img_path:输入人物大头照,需裁剪掉脖子下方部分。



STEP 2:PaddleGAN中的FOM赋予照片魔法



只需要更改三个参数:

  1. driving_video:想让目标人物做的脸部动作表情视频(PaddleGAN已提供了示例视频,如需自定义可自行替换)。

  2. source_image:目标人物照片。

  3. output:魔法视频保存路径。


也送上魔法传送门,可以Star收藏,方便随时体验~



小编也顺便了解了一下,“行见远大”此前也在百度飞桨上开源过不少PaddleGAN相关的优秀项目,就在不久前的七夕情人节,他还开源了一个告白模拟器,收获不少Fork和点赞;同样,飞桨上也有不少其他开发者提供开源的各类趣味、实用的模型应用等,感兴趣的朋友也可以前去观察摸索一下,说不定通往魔法世界的下一条新路就诞生在你手里哦~


点击【阅读原文】,即可体验~

浏览 40
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报