哈工大等提出轻量级盲超分辨模型LESRCNN，代码已开源

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

近年来图像超分辨率（super-resolution ，SR）已经获得长足发展，但计算量大仍阻碍相关研究进入产品，来自哈工大等单位的学者提出一种轻量级SR 模型，在取得了state-of-the-art结果的同时，显著降低计算量，代码已经开源，相信对从事相关方向的学术和产业界的朋友都会有参考价值。

Lightweight image super-resolution with enhanced CNN

作者：Chunwei Tian, Ruibin Zhuge, Zhihao Wu, Yong Xu, Wangmeng Zuo, Chen Chen, Chia-Wen Lin

单位：哈工大、美国北卡夏洛特分校和台湾国立清华大学

01

背景与动机

数字设备在收集图像过程中常受到拍摄物周围环境、相机硬件和人为因素影响，导致捕获到图像不清晰，这严重影响后续视觉任务性能。已有深度学习方法都通过单一缩放因子来恢复高清图像，这不适用于现实中捕获的受损程度不同图像。

此外，已有方法都通过增大网络深度提升图像超分辨性能， 但这会增大网络计算代价，也不适用于手机和相机等。

针对这些问题，本文提出一种轻量级增强的超分辨网络（A lightweight enhanced SR CN, LESRCNN）。LSRCNN主要从网络结构和解决问题两方面来设计网络的。在网络结构方面，LESRCNN采用异构结构，结合低频特征和高频特征，提升网络超分辨性能。在解决任务上，采用一组自适应的子像素卷积计算实现盲超分辨网络。

02

工作原理

本文提出的LESRCNN由信息提取和增强块（IEEB）、重构块（RB）和信息提纯块（IRB）组成。结构图如图1所示：

图1 LESRCNN的网络结构图

IEEB: IEEB能提取层次的低频特征和逐步加强获得特征的作用来增强网络浅层对深层的记忆能力。为了移除冗余的低频特征，3x3和1x1卷积组成的异构结构应用到IEEB中。

RB: 因为SR任务目标是把低分辨率图像转换为高分辨率图像，所以RB能通过子像素卷积技术把低频特征转换为高频特征。

为了防止原始输入低频图像在转换过程中丢失重要信息，RB通过融合局部和全局特征来解决网络长期依赖问题。

此外，为了实现盲超分辨网络，一组灵活的子像素卷积技术应用到RB中，如图2所示。

其中，这个灵活的子像素卷积技术由x2、x3和x4三种模式组成。当训练固定缩放因子的超分辨模型时，选择三种模式中一种即可。当训练盲超分辨模型时，三种模式同时开启。

图2 灵活的子像素卷积技术

IRB: IRB能进一步学习RB获得高频特征，以恢复更多的高频细节信息，提升SR性能。此外，IRB也负责构造高清图像。

03

创新点

（1）LESRCNN通过级联三个块，以减少参数量和获得高的图像超分辨性能；

（2）LESRCNN通过提取层次低频特征并融合这些特征，以解决网络长期依赖问题。此外，LSRCNN中异构卷积结构能在不降低SR性能情况下降低网络参数和提高SR网络效率。低频和高频特征同时使用能提升SR性能。

（3）LESRCNN能处理固定缩放因子的低分辨率图像和盲超分辨任务。

04

实验效果

表1不同方法在Set5上恢复不同缩放因子（x2、x3和x4）的低分辨率图像获得PSNR和SSIM值

表2不同方法在Set14上恢复不同缩放因子（x2、x3和x4）的低分辨率图像获得PSNR和SSIM值

表3不同方法在B100上恢复不同缩放因子（x2、x3和x4）的低分辨率图像获得PSNR和SSIM值

表4不同方法在U100上恢复不同缩放因子（x2、x3和x4）的低分辨率图像获得PSNR和SSIM值

表5不同方法恢复256x256,512x512和1024x1024高质量图像的运行时间

表6不同图像超分辨网络的复杂度

图3 不同方法在U100上恢复缩放因子2的高质量图像视觉效果

图4 不同方法在Set14上恢复缩放因子3的高质量图像视觉效果

图5 不同方法在B100上恢复缩放因子4的高质量图像视觉效果

论文：

https://arxiv.org/pdf/2007.04344.pdf

代码：

https://github.com/hellloxiaotian/LESRCNN