语义分割和目标检测是什么关系？
首先，让我们看一下语义分割和目标检测的目标分别是什么？
语义分割的目标
语义分割的任务是对输入的图像进行逐像素的分类，标记出像素级别的物体。
如上图，图1中把猫、天空、树、草地进行了逐像素的分类；图2中把牛、天空、树、草地进行了逐像素的分类。
目标检测的目标
目标检测的任务是对输入的图像进行物体检测，标注物体在图像上的位置，以及该位置上物体属于哪个分类。
如上图，模型把图中的人、狗、马分别进行了位置标注，并且也给出了对应的分类类别。
两种任务的异同之处：
一、从大方向的任务特点上来说
从大方向的任务特点来说，语义分割和目标检测任务目标都在意两个关键信息：
1）物体的位置
待检测的物体，它在图像中位于什么位置。
对于语义分割来说，这个信息需求的精准度在像素级别的。概括地说，我们需要把物体的轮廓描绘出来，以此来体现它的位置信息。
对于目标检测来说，这个信息需求的精准度仅在标注其外切矩形。换句话来说，把物体框出来，以此来体现它的位置信息。
2）物体的分类
有了位置信息之后，语义分割和目标检测都存在对物体的分类。不同的是：
对于语义分割来说，它提供的信息中位置信息和分类信息是有重叠的，即通过标记每个像素的分类，同时也达到提供位置信息。
对于目标检测来说，分类信息是针对每个标注的框的，每一个框对应着自己的分类。
二、从数据格式来说
正如前文所说，由于在任务的目标上存在着一些区别，这就使得它们需要不同的数据格式进行标注。
1）语音分割的数据格式
如上图，这张图中先验是5个类别。在分类中，会有5个channel，每个channel负责一个类别的概率预测。最后，每个像素上，以5个channel中的最大值作为最终分类，以此完成图像语义分割的标注工作。
2）目标检测的数据格式
从上图中我们可以看到，对于目标检测的数据格式分为了两个部分，分类和框的坐标。具体体现为：
分类最终体现在对每个潜在框分类的1*1*channel上，每个channel代表一个分类，取值最大的channel作为最终分类；位置信息会用4个值来保存：被分类的物体中它的框的坐标则为左上角的x和y坐标，以及宽和高的尺寸。
共享上游的特征提取网络
无论是语义分割和目标检测任务，它们都有一个特征提取的backbone。它们通常是从图像分类网络中进行嫁接的。当我们发现有性能更佳的分类网络时，把它嫁接到语义分割或目标检测上，通常也能带动下游任务性能的提升。
如上图，在Mask RCNN中，它同时处理了语义分割和目标检测的任务，在此网络的上游阶段，它们共享着ResNet的backbone网络。
小结
语义分割和目标检测，它们有着类似的任务目标，把物体标注出来，并且标记物体的具体分类信息。不同的是，语义分割所标记的物体是像素级别的颗粒度的，而目标检测标记的物体是其外切框。
不过，虽然存在着不同的任务细节特点，但是它们在网络上游上具有相同的特征提取的需求，于是，它们可以共享以图像分类为backbone的特征提取网络。
往期精彩回顾
适合初学者入门人工智能的路线及资料下载 (图文+视频)机器学习入门系列下载 中国大学慕课《机器学习》（黄海广主讲） 机器学习及深度学习笔记等资料打印 《统计学习方法》的代码复现专辑 机器学习交流qq群955171419，加入微信群请扫码