CVPR 2021论文盘点 | 去阴影、去反光、去高光、去伪影篇

高光检测与去除

A Multi-Task Network for Joint Specular Highlight Detection and Removal

本文所提出网络是针对自然图像高光检测与去除所设计，为了消除合成训练样本和真实测试图像之间的域差距，首先引入一个包含约 16K 真实图像的数据集，每张图像都有相应的高光检测和去除高光的ground truths 。作者利用所提供的数据集，开发一个多任务网络，基于一个新的镜面高光图像形成模型，用于联合高光检测和去除。

在基准数据集和文中所引入新数据集上的实验表明，该方法在高光检测和去除方面都明显优于最先进的方法。

作者 | Gang Fu、Qing Zhang、Lei Zhu、Ping Li、Chunxia Xiao
单位 | 武汉大学；中山大学；剑桥大学；香港理工大学
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Fu_A_Multi-Task_Network_for_Joint_Specular_Highlight_Detection_and_Removal_CVPR_2021_paper.pdf

HDR Deghosting去伪影

Labeled from Unlabeled: Exploiting Unlabeled Data for Few-shot Deep HDR Deghosting

作者称这是首个探索用无标签图像进行 Deep HDR Deghosting 的零样本和少样本学习的工作。该方法从无标签的动态数据中生成有标签的动态训练数据。在两个公开的数据集上，该方法只用 5 个标记的动态样本和未标记的样本进行训练，取得了与现有的在完整的数据集上以监督方式训练的方法相当的结果，甚至更好。

作者 | K Ram Prabhakar、Gowtham Senthil、Susmit Agrawal、R.Venkatesh Babu、Rama Krishna Sai S Gorthi
单位 | 印度科技学院；印度理工学院
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Prabhakar_Labeled_From_Unlabeled_Exploiting_Unlabeled_Data_for_Few-Shot_Deep_HDR_CVPR_2021_paper.pdf

Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network

文中提出 DynamIc Skip Connection Network（DISCNet），将图像成像模型的领域知识纳入网络设计，用于恢复 UDC 图像。通过对合成和真实的 UDC（显示器下摄像头） 数据进行广泛的实验，证明了该方法的有效性。

作者 | Ruicheng Feng, Chongyi Li, Huaijin Chen, Shuai Li, Chen Change Loy, Jinwei Gu
单位 | 南洋理工大学；Tetras.AI；上海人工智能实验室
论文 | https://arxiv.org/abs/2104.09556
代码 | https://github.com/jnjaby/DISCNet
主页 | https://jnjaby.github.io/projects/UDC/

图像隐写

Large-capacity Image Steganography Based on Invertible Neural Networks

文中提出 Invertible Steganography Network（ISN），用于图像隐写，其中同一网络的 forward 和 backward 传播操作被利用来分别嵌入和提取隐藏的图像。极大地提高了隐写术的有效载荷容量，并且可以很容易地适用于隐藏多个具有高度不可知性的图像。综合实验表明，随着隐写术有效载荷容量的显著提高，ISN 方法在视觉上和量化上都达到了最先进的水平。

作者 | Shao-Ping Lu、Rong Wang、Tao Zhong、Paul L. Rosin
单位 | 南开大学；卡迪夫大学
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Lu_Large-Capacity_Image_Steganography_Based_on_Invertible_Neural_Networks_CVPR_2021_paper.pdf

场景恢复

Rank-One Prior: Toward Real-Time Scene Recovery

场景恢复是一些实际应用的基本成像任务，如视频监控和自动驾驶车辆等。为了改善不同天气/成像条件下的视觉质量，作者提出一种实时光校正方法，以恢复沙尘暴、水下和雾霾情况下的降质场景。

该工作的核心是，提出一个强度投影策略来估计光线传输，传输估计的复杂度为O(N)N是单幅图像的大小，然后进行实时恢复场景。

在不同类型的天气/成像条件下的综合实验表明，所提出方法在效率和鲁棒性方面优于几种最先进的成像方法，具有竞争力。

作者 | Jun Liu, Ryan Wen Liu, Jianing Sun, Tieyong Zeng
单位 | 东北师范大学；武汉理工大学；香港中文大学
论文 | https://arxiv.org/abs/2103.17126

Shadow Removal去阴影

Auto-Exposure Fusion for Single-Image Shadow Removal

用于单幅图像阴影去除的自动曝光融合

作者 | Lan Fu, Changqing Zhou, Qing Guo, Felix Juefei-Xu, Hongkai Yu, Wei Feng, Yang Liu, Song Wang
单位 | 南卡罗莱纳大学；南洋理工大学；阿里；克里夫兰州立大学；天津大学
论文 | https://arxiv.org/abs/2103.01255
代码 | https://github.com/tsingqguo/exposure-fusion-shadow-removal

From Shadow Generation to Shadow Removal

文章提出 G2R-ShadowNet，利用阴影生成进行弱监督的阴影去除，只使用一组阴影图像及其相应的阴影掩码进行训练。G2R-ShadowNet 由三个子网络组成，分别用于阴影生成、阴影去除和细化，并以端到端的方式被联合训练。具体来说，阴影生成子网将非阴影区域定型为阴影区域，导致训练阴影消除子网的数据成对。

在 ISTD 数据集和 ideo Shadow Removal 数据集上的广泛实验表明，所提出的 G2R-ShadowNet 在与SOTA的竞争中取得了优异的表现，并且超过了 Le 和 Samaras 的基于 patch 的阴影消除方法。

作者 | Zhihao Liu, Hui Yin, Xinyi Wu, Zhenyao Wu, Yang Mi, Song Wang
单位 | 北京交通大学；南卡罗莱纳大学；中国农业大学
论文 | https://arxiv.org/abs/2103.12997
代码 | https://github.com/hhqweasd/G2R-ShadowNet

No Shadow Left Behind: Removing Objects and their Shadows using Approximate Lighting and Geometry

图像编辑中去掉目标之后，连同阴影一同去除，且毫无违和感  .

作者 | Edward Zhang、Ricardo Martin-Brualla、Janne Kontkanen、 Brian Curless
单位 | 华盛顿大学；谷歌
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_No_Shadow_Left_Behind_Removing_Objects_and_Their_Shadows_Using_CVPR_2021_paper.pdf

Reflection Removal去反射

Robust Reflection Removal with Reflection-free Flash-only Cues

仅使用闪烁线索进行鲁棒的反射去除

作者 | Chenyang Lei, Qifeng Chen
单位 | 香港科技大学
论文 | https://arxiv.org/abs/2103.04273
代码 | https://github.com/ChenyangLEI/flash-reflection-removal

Single Image Reflection Removal with Absorption Effect

具有吸收效应的单图像反射去除。

作者 | Qian Zheng、Boxin Shi、Jinnan Chen、Xudong Jiang、Ling-Yu Duan、Alex C. Kot
单位 | 南洋理工大学；北大；鹏城实验室
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Zheng_Single_Image_Reflection_Removal_With_Absorption_Effect_CVPR_2021_paper.pdf
代码 | https://github.com/q-zh/absorption

Panoramic Image Reflection Removal

全景图像反射光去除。

作者 | Yuchen Hong、Qian Zheng、Lingran Zhao、Xudong Jiang、Alex C. Kot、Boxin Shi
单位 | 北大；南洋理工大学；鹏城实验室
论文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Hong_Panoramic_Image_Reflection_Removal_CVPR_2021_paper.pdf

如果觉得有用，就请分享到朋友圈吧！