（附论文）CVPR2021|通过多尺度特征融合提升深度估计模型精度-轻识

点击左上方蓝字关注我们

一个专注于目标检测与深度学习知识分享的公众号

编者荐语

基于深度学习的方法已然成为单张图像深度估计的标准解决方案。但是对于高分辨深度估计，使其具有好的边界准确性和一致的场景结构，这仍然存在难题。

作者丨Andy@知乎

链接丨https://zhuanlan.zhihu.com/p/377146332

Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging

论文地址：https://arxiv.org/pdf/2105.14021.pdf

关键词：高分辨率、单张图像深度估计

·解决的问题：如何实现在高分辨和高细节度折中的单张图像深度估计

---> 单张图像深度估计的目的是从单张图像中提取场景的结构。与深度相机或者多视角数据所提取的深度信息不同，单张图像深度估计主要依赖于高层单眼深度线索。基于深度学习的方法已然成为单张图像深度估计的标准解决方案。但是对于高分辨深度估计，使其具有好的边界准确性和一致的场景结构，这仍然存在难题。虽然有基于全卷积层结构的方法可以控制任意输入尺寸，但现实中GPU内存、高分辨率数据缺失、CNN感受野尺寸，这些都限制了对应方法的发展。

-->因此，本文提出采用预训练的单张图像深度估计模型，实现具有高边界准确性的高分辨率结果。

论文的贡献：

1）提出一种双重估计方案，提高单目图像深度估计的性能；一种基于块选择的方法能偶加入局部信息到最后的估计结果。

2）所提出的方法可以改进最新的单目图像深度估计方法，在提高分辨率与细节的同时，几乎不额外引入计算量。

·所提出方法：

1、主要观察结果

我们的主要见解来自观察到单目深度估计网络的输出特性随输入图像的分辨率而变化。在接近训练分辨率的低分辨率下，估计具有一致的结构，但缺乏高频细节。当以更高分辨率将相同的图像馈送到网络时，可以更好地捕获高频细节，同时估计的结构一致性逐渐降低。如下图所示：

我们的第二个观察是关于输出特征与输入中高级深度线索的数量和分布之间的关系。网络感受野尺寸主要依赖于网络结构以及训练分辨率。由于单目深度估计依赖于上下文线索，当图像中的这些线索比感受野更远时，网络无法在未接收到足够信息的像素周

2、初步方法

我们的目标是对要合并的单个图像生成多个深度估计，以实现具有一致整体结构的高频细节的结果。这需要 (i) 检索图像中上下文线索的分布，我们将使用它来确定网络的输入，以及 (ii) 合并操作以将高频细节从一个估计转移到另一个具有结构一致性的估计。
1）估计的上下文线索。我们使用通过对 RGB 梯度进行阈值处理获得的图像的近似边缘图作为代理。
2）合并单目深度估计。包括输入小分辨率到网络所对应的低分辨率图，相同图像的高分辨率深度图。

使用具有10层U-net的Pix2Pix结构作为生成器。我们训练网络将细粒度的细节从高分辨率输入传输到低分辨率输入
如下图，尽管增加的分辨率提供了更清晰的结果，但在 (c) 之外，深度估计在整体结构方面变得不稳定，通过背景中不正确的工作台深度范围和轮胎周围不切实际的深度梯度可见。

3、双重估计

4、局部提升的块估计

我们提出了一种块选择方法，为图像中的不同区域生成不同分辨率的深度估计，这些区域合并在一起以获得一致的完整结果。
理想情况下，块选择过程应由高级信息指导，以确定用于估计的最佳局部分辨率。但缺乏这样的数据集。因此本文提出一种简单的块选择方法，即做出谨慎的设计决策，以达到可靠的高分辨率深度估计管道，而无需额外的数据集或训练。
1）块选择。通过以基本分辨率平铺图像开始块选择过程，平铺大小等于感受野大小和 1/3 重叠。
2）块估计。采用双重估计方法进行估计。
3）基础分辨率调整。通过在块选择之前将基本深度估计上采样到更高的分辨率来解决这种情况下的这个问题。

·实验结果

测试方法：改进两个最新方法MiDaS ^[1]、 SGR^[2]

测试数据：Middleburry 2014 ^[3]、IBMS-1 ^[4].

对比实验

02:19:32.388

·参考

1.^Rene Ranftl, Katrin Lasinger, David Hafner, Konrad ´ Schindler, and Vladlen Koltun. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE Trans. Pattern Anal. Mach. Intell., 2020.

2.^^a^b^cKe Xian, Jianming Zhang, Oliver Wang, Long Mai, Zhe Lin, and Zhiguo Cao. Structure-guided ranking loss for single image depth prediction. In Proc. CVPR, 2020

3.^D. Scharstein, H. Hirschmuller, York Kitajima, Greg Krath- ¨ wohl, Nera Nesic, X. Wang, and P. Westling. High-resolution stereo datasets with subpixel-accurate ground truth. In Proc. GCPR, 2014.

4.^Tobias Koch, Lukas Liebel, Friedrich Fraundorfer, and Marco Korner. Evaluation of CNN-Based Single-Image ¨ Depth Estimation Methods. In Proc. ECCV Workshops, 2018.

本文仅做学术分享，如有侵权，请联系删文。

END

双一流大学研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成一种习惯！

整理不易，点赞三连↓