「AI 完美复刻」的人物肖像画生成

AI算法与图像处理

共 1808字，需浏览 4分钟

·

2020-11-28 16:28

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

来源：Jack Cui

今年提出的 U^2-Net 显著性检测算法，刷爆了 reddit 和 twitter，号称是 2020 年「地表最强」的静态背景分割算法，可以看下效果：

你以为今天要讲分割？错！

U^2-Net 这两天又出新活，在 U^2-Net 网络架构基础上，实现了人物肖像画的生成，细节「完美」复刻。

我用自己的「歪脖子照」测试了下效果。

万年不变老规矩，继续手把手教学。

算法原理、环境搭建、效果实现，一条龙服务，尽在下文！

1

U^2-Net

受 U-Net 网络的启发，U^2-Net 也是一种类似编码-解码（Encoder-Decoder）的网络结构。

研究者在此基础上，提出了新型残差 U-block（ReSidual U-block, RSU），融合不同尺寸接受野的特征，以捕获更多不同尺度的上下文信息。

RSU 网络与现有卷积块的结构对比如下：

最右边的结构，就是 RSU-L，L 表示编码器中的层数，C_in、C_out 分别表示输入和输出通道，M 表示 RSU 内层通道数。

具体而言，RSU 主要有三个组成部件，分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。

为了更好地理解设计理念，研究者在下图中对 RSU 与原始残差块进行了比较。

结果显示，RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积，并且通过一个由权重层转换的局部特征替换原始特征。

更值得注意的是，得益于 U 形结构，RSU 的计算开销相对较少，因为大多数运算在下采样特征图中应用。下图展示了 RSU 与其他特征提取模块的计算成本曲线图：

U^2-Net 的整体网络架构如下：

U^2-Net 主要由三部分组成：

6 阶段编码器；
5 阶段解码器；
与解码器阶段和最后编码器阶段相连接的显著图融合模块。

说完网络结构，再看下损失函数，研究者使用了类似于整体嵌套边缘检测（HED）的深度监督算法：

其中，M=6, 为 U^2-Net 的 Sup1, Sup2, ..., Sup6 stage。

为 Sup1, Sup2, ..., Sup6 输出的显著图

的损失函数。

为最终融合输出的显著图

的损失函数。

为每个损失函数的权重。

对于每个 l ，采用标准的二值交叉熵损失函数：

其中，(r, c) 为像素坐标；(H, W) 为图像尺寸，height 和 width。

分别表示 GT 像素值和预测的显著概率图。

总的来说，U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。

更详细的内容，可以直接看 paper：

https://arxiv.org/pdf/2005.09007.pdf

2

效果测试

Github 项目地址：

https://github.com/NathanUA/U-2-Net

第一步：搭建测试环境。

很简单，没啥特殊的库，安装好 Pytorch、Numpy、Skimage 等基础第三方库即可。

第二步：下载训练好的模型权重文件。

我将程序和权重文件都进行了打包，嫌麻烦，可以下载直接使用。

下载地址（提取码：jack）：

https://pan.baidu.com/s/1SVLDDofEfrA9PGz5WcSP7g

第三步：在工程目录，运行程序。

python u2net_portrait_test.py

在 u2net_portrait_test.py 可以查看输入图片路径和输出图片路径：

最后再看下运行效果：

下载1：leetcode 开源书

在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！

下载2 CVPR2020

在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文

个人微信（如果没有备注不拉群！）

请注明：地区+学校/企业+研究方向+昵称

觉得不错就点亮在看吧

浏览 81

点赞

收藏

分享

举报

评论

图片

表情

「完美复刻」的人物肖像画生成

sd-webui-EasyPhoto生成 AI 肖像画

EasyPhoto是一款stable-diffusion-webui插件，用于生成AI肖像画。该代码可用于训练与你相关的数字分身。建议使用5到20张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量

sd-webui-EasyPhoto生成 AI 肖像画

sd-webui-EasyPhoto生成 AI 肖像画

EasyPhoto是一款 stable-diffusion-webui 插件，用于生成 AI 肖像画

sd-webui-EasyPhoto生成 AI 肖像画

《完美的人：切·格瓦拉传》分阿根廷岁月、从军医到少校司令、领导古巴、魅力、血色星空、革命是不朽的等1

十年前，《炽烈的虚荣》一书确立了汤姆・沃尔夫的地位―美国最大胆、最逼真地描绘历史的第一流小说家。这次

間違いない。写真週刊誌に載っているこの写真は確かに娘だったことのある女だ…。美貌のミステリ作家の山荘

皱眉细节完美复刻，阿尔伯塔大学团队标星1.7K的项目生成超逼真的肖像画

小白学视觉

点赞

收藏

分享

举报