来源丨https://www.cnblogs.com/wuyida/p/6301262.html本文仅用于学术分享，若侵权，请联系后台作删文处理。
三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。本文按照目标物体深度信息获取的两种方式（被动式测量与主动式测量）进行介绍。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。三维重建技术的重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。基于三维重建模型的深层次应用研究也可以随即展开。人们按照被动式测量与主动式测量[5]对目标物体深度信息的获取方法进行了分类，下面对这两种方式进行相应的介绍。
被动式一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息。主要有以下三种方法：纹理法的基本理论为：作为图像视野中不断重复的视觉基元，纹理元覆盖在各个位置和方向上。当某个布满纹理元的物体被投射在平面上时，其相应的纹理元也会发生弯折与变化。例如透视收缩变形使与图像平面夹角越小的纹理元越长，投影变形会使离图像平面越近的纹理元越大。通过对图像的测量来获取变形，进而根据变形后的纹理元，逆向计算出深度数据。SFT对物体表面纹理信息的要求严苛，需要了解成像投影中纹理元的畸变信息，应用范围较窄，只适合纹理特性确定等某些特殊情形。所有在实际使用中较为少见。SFS(Shape From Shading，从阴影恢复形状)法也是一种较为常用的方法。图像的阴影边界包含了图像的轮廓特征信息，因此能够利用不同光照条件下的图像的明暗程度与阴影来计算物体表面的深度信息，并以反射光照模型进行三维重建。阴影恢复形状法的应用范围比较广泛，可以恢复除镜面外的各种物体的三维模型。缺点体现在过程多为数学计算、重建结果不够精细，另外不能忽视的是，SFS法需要准确的光源参数，包括位置与方向信息。这就导致其无法应用于诸如露天场景等具有复杂光线的情形中。立体视觉法（Multi-View Stereo，MVS)是另外一种常用的三维重建方法。主要包括直接利用测距器获取程距信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。通过模拟人类视觉系统，基于视差原理获取图像对应点之间的位置偏差，恢复出三维信息。双目立体视觉重建，在实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上; 不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低 。作为计算机视觉的关键技术之一，立体视觉法也其弊端。例如，立体视觉需要假设空间的平面是正平面，而实际情况却与此相差甚远。除此之外，匹配还存在歧义性：对于一幅图像上的某些特征点，另外的图像可能存在若干个与之相似的特征点。那么如何选取最适配的匹配点，显得较为棘手。除此之外，对于如相机运动参数的确定、大型场景重建需要获取多帧图像等问题，也极大的影响了立体视觉的深层次应用。 主动式是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息。主动测距有莫尔条纹法、飞行时间法、结构光法和三角测距法等四种方法。
莫尔条纹在生活中比较常见，如两层薄薄的丝绸重叠在一起，即可以看到不规则的莫尔(Morie)条纹。基本原理是将两块等间隔排列的直线簇或曲线簇图案重叠起来，以非常小的角度进行相对运动来形成莫尔条纹。因光线的透射与遮挡而产生不同的明暗带，即莫尔条纹。莫尔条纹随着光栅的左右平移而发生垂直位移，此时产生的条纹相位信息体现了待测物体表面的深度信息，再通过逆向的解调函数，实现深度信息的恢复。这种方法具有精度高、实时性强的优点，但是其对光照较为敏感，抗干扰能力弱。 飞行时间法(Time of Flight，ToF)指的是在光速及声速一定的前提下，通过测量发射信号与接收信号的飞行时间间隔来获得距离的方法。这种信号可以是超声波，也可以是红外线等。飞行时间法相较于立体视觉法而言，具有不受基线长度限制、与纹理无关、成像速度快等特点。但是其也有一定的缺点。首先，ToF相机的分辨率非常低。其次，ToF相机容易受到环境因素的影响，如混合像素、外界光源等，导致景物深度不准确；最后，系统误差与随机误差对测量结果的影响很大，需要进行后期数据处理，主要体现在场景像素点的位置重合上。结构光法(Structured Light)通过向表面光滑无特征的物体发射具有特征点的光线，依据光源中的立体信息辅助提取物体的深度信息。具体的过程包括两个步骤，首先利用激光投影仪向目标物体投射可编码的光束，生成特征点；然后根据投射模式与投射光的几何图案，通过三角测量原理计算摄像机光心与特征点之间的距离，由此便可获取生成特征点的深度信息，实现模型重建。这种可编码的光束就是结构光，包括各种特定样式的点、线、面等图案。结构光法解决了物体表面平坦、纹理单一、灰度变化缓慢等问题。因为实现简单且精度较高，所以结构光法的应用非常广泛，如微软公司的Kinect三角测距法是一种非接触式的测距方法，以三角测量原理为基础。红外设备以一定的角度向物体投射红外线，光遇到物体后发生反射并被CCD（Charge-coupled Device，电荷耦合元件）图像传感器所检测。随着目标物体的移动，此时获取的反射光线也会产生相应的偏移值。根据发射角度、偏移距离、中心矩值和位置关系，便能计算出发射器到物体之间的距离。三角测距法在军工测量、地形勘探等领域中应用广泛。
彩色图像也叫作RGB图像，R、G、B三个分量对应于红、绿、蓝三个通道的颜色，它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像，与灰度图像中像素点存储亮度值不同，其像素点存储的是该点到相机的距离，即深度值。下图表示深度图像与灰度图像之间的关系。深度值指的目标物体与测量器材之间的距离。深度值的大小只与距离有关，而与环境、光线、方向等因素无关，所以深度图像能够真实准确的体现景物的几何深度信息。通过建立物体的空间模型，能够为深层次的计算机视觉应用提供更坚实的基础。PCL（Point Cloud Library，点云库）是由斯坦福大学的Dr.Radu等学者基于ROS(Robot Operating System，机器人操作系统)下开发与维护的开源项目，最初被用来辅助机器人传感、认知和驱动等领域的开发。随着对三维点云算法的加入与扩充，PCL逐步发展为免费、开源、大规模、跨平台的C++编程库。
PCL框架包括很多先进的算法和典型的数据结构，如滤波、分割、配准、识别、追踪、可视化、模型拟合、表面重建等诸多功能。在算法方面，PCL是一套包括数据滤波、点云配准、表面生成、图像分割和定位搜索等一系列处理点云数据的算法。例如PCL中实现管道运算的接口流程：②通过setInputCloud输入初始点云数据，进入处理模块； ④调用不同功能的函数实现运算，并输出结果。
libpcl I/O：完成数据的输入、输出过程，如点云数据的读写；libpcl filters：完成数据采样、特征提取、参数拟合等过程；libpcl register：完成深度图像的配准过程，例如迭代最近点算法；libpcl surface：完成三维模型的表面生成过程，包括三角网格化、表面平滑等。如下图所示，展示了典型的点云数据（Point Cloud Data，PCD）模型。
点云数据通常出现在逆向工程中，是由测距设备获取的物体表面的信息集合。其扫描资料以点的形式进行记录，这些点既可以是三维坐标，也可以是颜色或者光照强度等信息。通常所使用的点云数据一般包括点坐标精度、空间分辨率和表面法向量等内容。点云一般以PCD格式进行保存，这种格式的点云数据可操作性较强，同时能够提高点云配准融合的速度。本文研究的点云数据为非结构化的散乱点云，属于三维重建特有的点云特点。
使用Kinect采集景物的点云数据，经过深度图像增强、点云计算与配准、数据融合、表面生成等步骤，完成对景物的三维重建。
对获取到的每一帧深度图像均进行前六步操作，直到处理完若干帧。最后完成纹理映射。下面对每个步骤作详细的说明。景物的深度图像由Kinect在Windows平台下拍摄获取，同时可以获取其对应的彩色图像。为了获取足够多的图像，需要变换不同的角度来拍摄同一景物，以保证包含景物的全部信息。具体方案既可以是固定Kinect传感器来拍摄旋转平台上的物体；也可以是旋转Kinect传感器来拍摄固定的物体。受到设备分辨率等限制，它的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用，必须对深度图像进行去噪和修复等图像增强过程。作为本文的重点问题，具体的处理方法将在第四章进行详细的解释说明。目前深度相机输出的depth图还有很多问题，比如对于光滑物体表面反射、半/透明物体、深色物体、超出量程等都会造成深度图缺失。而且很多深度相机是大片的深度值缺失，这对于算法工程师来说非常头疼。3. 由深度图计算点云数据
，
预处理后的深度图像具有二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的直线距离，以毫米为单位。以摄像机成像原理为基础，可以计算出世界坐标系与图像像素坐标系之间具有下式的转换关系：
即
其中u,v为图像坐标系下的任意坐标点。u0,v0分别为图像的中心坐标。xw,yw,zw表示世界坐标系下的三维坐标点。zc表示相机坐标的z轴值，即目标到相机的距离。R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。对外参矩阵的设置：由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以:注意到，相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc=zw.于是公式可进一步简化为：从以上的变换矩阵公式，可以计算得到图像点[u,v]T 到世界坐标点[xw,yw,zw]T的变换公式:M1称为相机的内参矩阵，包含内参（fx，fy，u0，v0）。M2称为相机的外参矩阵，包含外参（R:旋转矩阵，T:平移矩阵）。
（u0, v0）是图像坐标系原点(图像中心)在像素坐标系(以左上角为原点)中的坐标，dx 和 dy分别是每个像素在图像平面x和y方向上的物理尺寸。
f 为焦距（像平面与相机坐标系原点的距离）。M称之为内参矩阵可以理解为矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。其中fx,fy的单位为个（像素数目）。用一幅图来总结从世界坐标系到像素坐标系（不考虑畸变）的转换关系：
相机坐标系：在相机上建立的坐标系，为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。单位为m。以相机的光心为坐标原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，相机的光轴为Z 轴，用（Xc, Yc, Zc）表示其坐标值。图像坐标系(image coordinate system)：描述物体从相机坐标系到图像坐标系的投影透射关系，方便进一步得到像素坐标系下的坐标。以图像平面的中心为坐标原点，X轴和Y 轴分别平行于图像平面的两条垂直边，用( x , y )表示其坐标值。图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。像素坐标系(pixel coordinate system)：描述物体成像后的像点在数字图像上（相片）的坐标，是我们真正从相机内读取到的信息所在的坐标系。单位为个（像素数目）。以图像平面的左上角顶点为原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，用(u , v )表示其坐标值。数码相机采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M × N的数组，M 行 N 列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。对于多帧通过不同角度拍摄的景物图像，各帧之间包含一定的公共部分。为了利用深度图像进行三维重建，需要对图像进行分析，求解各帧之间的变换参数。深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。计算出相应的平移向量与旋转矩阵，同时消除冗余信息。点云配准除了会制约三维重建的速度，也会影响到最终模型的精细程度和全局效果。因此必须提升点云配准算法的性能。三维深度信息的配准按不同的图像输入条件与重建输出需求被分为：粗糙配准、精细配准和全局配准等三类方法。（1）粗糙配准（Coarse Registration）粗糙配准研究的是多帧从不同角度采集的深度图像。首先提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显式特征，也可以是自定义的符号、旋转图形、轴心等类型的特征。随后根据特征方程实现初步的配准。粗糙配准后的点云和目标点云将处于同一尺度(像素采样间隔)与参考坐标系内，通过自动记录坐标，得到粗匹配初始值。（2）精细配准（Fine Registration）精细配准是一种更深层次的配准方法。经过前一步粗配准，得到了变换估计值。将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果。以经典的ICP（Iterative Closest Point，迭代最近点）算法为例，该算法首先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数。基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值。ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义。另外还有如SAA（Simulate Anneal Arithmetic，模拟退火）算法、GA（Genetic Algorithm，遗传）算法等也有各自的特点与使用范畴。（3）全局配准（Global Registration）全局配准是使用整幅图像直接计算转换矩阵。通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准。这两种配准方式分别称为序列配准（Sequential Registration）和同步配准（Simultaneous Registration）。配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果。值得注意的是，虽然全局配准可以减小误差，但是其消耗了较大的内存存储空间，大幅度提升了算法的时间复杂度。经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息。因此必须对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素(Voxel)。通过为所有体素赋予SDF（Signed Distance Field，有效距离场）值，来隐式的模拟表面。SDF值等于此体素到重建表面的最小距离值。当SDF值大于零，表示该体素在表面前；当SDF小于零时，表示该体素在表面后；当SDF值越接近于零，表示该体素越贴近于场景的真实表面。KinectFusion技术虽然对场景的重建具有高效实时的性能，但是其可重建的空间范围却较小，主要体现在消耗了极大的空间用来存取数目繁多的体素。为了解决体素占用大量空间的问题，Curless[50]等人提出了TSDF (Truncated Signed Distance Field，截断符号距离场)算法，该方法只存储距真实表面较近的数层体素，而非所有体素。因此能够大幅降低KinectFusion的内存消耗，减少模型冗余点。
TSDF算法采用栅格立方体代表三维空间，每个栅格中存放的是其到物体表面的距离。TSDF值的正负分别代表被遮挡面与可见面，而表面上的点则经过零点，如图2-7中左侧展示的是栅格立方体中的某个模型。若有另外的模型进入立方体，则按照下式(2-9)与(2-10)实现融合处理。其中，指的是此时点云到栅格的距离，是栅格的初始距离，是用来对同一个栅格距离值进行融合的权重。如图2-7中右侧所示，两个权重之和为新的权重。对于KinectFusion算法而言，当前点云的权重值设置为1。鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能。表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据。Lorensen[51]提出了经典体素级重建算法：MC（Marching Cube，移动立方体）法。移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处。对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点。然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接此数据场中的所有体元的三角面片，构成等值面。合并所有立方体的等值面便可生成完整的三维表面。https://www.cnblogs.com/wuyida/p/6301263.html
https://www.cnblogs.com/wuyida/p/6301262.html
推荐阅读
添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~觉得有用麻烦给个在看啦~ 
