简笔草图「一秒」生成真实人脸,这款人像生成AI,究竟有多厉害?
新智元
共 1797字,需浏览 4分钟
·
2020-09-24 02:53
新智元报道
新智元报道
来源:学术头条
编辑:白峰
【新智元导读】随着人工智能技术的发展,其用途也变得丰富多样,而在与图像结合方面,AI 面部识别技术和创建逼真图像的算法一直备受关注。
但是,如果将这个过程倒转过来,我们就能得到另外一种算法——该算法可以从粗糙的绘画图纸中获得逼真的图像。虽然这看起来像是科幻小说中的场景,但一年半前,NVIDIA 的科学家就已经开始使用它了。
实际上,为了达到这一目标,科学家们也做出了许多努力,然而多数类似的AI算法框架都需要详细的、绘制良好的草图。因此实用性、普遍性都不够高。
而一个全新的AI算法正在解决这些问题,这就是 DeepFaceDrawing:从素描草图中深度生成面部图像。
据了解,该项目由北京中国科学院和香港城市大学的一个团队创造,DeepFaceDrawing 也是迄今为止最先进的图像生成器之一。
根据该团队的说法,“我们的主要想法是从真实的面部素描图像中隐式地学习一个合理的面部描写空间,并在该空间中找到最接近的点来模拟该输入草图。”
DeepFaceDrawing 的深度学习框架使用模块来生成图像-CE(组件嵌入),FM(功能映射)和IS(图像合成)。CE模块本质上可以识别一些最突出的面部特征,例如眼睛,鼻子,嘴巴和目标面部的“剩余”部分。然后,FM和IS模块一起“将组件特征向量映射到逼真的图像”。
使用这一技术时,用户只需要绘制一张草图作为参考图像,而后就能获得与您的草图相匹配的接近照片般逼真的人脸。有趣的是,在绘制毛发之前,它还会自动提供一些绘画起点。但是,如果我们选择自己创造想要的发型,它也会按照我们的图纸如实地进行。
不仅如此,它还提供了更多惊人的功能,例如:可以帮助用户调整不同的面部特征,并且一处调整可以同时映射到许多可能的人脸上。
例如,一个女人的素描中,两只眼睛大小不一,而在AI对应着产生的图像中,眼睛的不同甚至导致了面部其他特征发生变化,这显然不是绘画者最初的目的。
在实际生活中,这项技术也可能有许多用途。该团队指出,他们的框架在“犯罪调查,角色设计,教育培训等”方面特别有用。
此外,也有人坚信,数字艺术家们将在不久的将来采用这种技术,它将帮助艺术家们将自己的艺术构想变为现实,这不仅能够提高契合度,还有利于缩短实际的执行时间。
参考资料:
https://futurehubnet.blogspot.com/2020/09/ai-to-help-you-create-real-human-faces.html
https://hothardware.com/news/ai-turns-sketches-into-portraits
评论