基于人工颜色对比增强（ACC）和主成分分析（PCA）的嫩叶目标检测与机器人采茶应用
共 3425字，需浏览 7分钟
· 2021-07-31
点击下方卡片，关注“新机器视觉”公众号
视觉/图像重磅干货，第一时间送达
茶是一种非常受人们欢迎的饮品，具有抗高血压、抗菌、降低心血管疾病风险等优点，具有极大的商业价值。采茶是茶叶收获季中一项艰巨的工作，目前的大部分茶叶都是通过高劳动强度的人工摘取获得的。为了提高生产力、生产效率，一些机械剪切式的采茶机已经被开发并应用于采摘过程中，但这类采茶机只是没有选择性地、简单地切割茶树顶端，将老叶、嫩叶以及断叶收集在一起，降低了茶品的整体质量，无法满足消费者对优质茶叶日益增长的需求。在巨大的劳动力成本和竞争激烈的市场压力不断增加的情况下，开发高质量采茶的智能采茶机器人具有巨大的学术意义和商业价值。开发模拟人工采摘的智能选择性采茶机器人，依赖相似颜色背景下稳健、准确和高效的嫩叶目标感知方法，这是设计自动化、智能化采茶系统的重要基础。
针对自然场景下鲜嫩茶叶特征在采摘过程中的准确、快速地定位问题，华中科技大学团队提出了一种可拓展的人工颜色特征目标检测与定位方法。主要内容发表于International Journal of Intelligent Robotics and Applications上的《Feature‑set characterization for target detection based on artificialcolor contrast and principal component analysis with robotic tealeaf harvestingapplications》论文中。
▍一、构建紧凑的特征筛选区域以降低噪声
通过对茶叶采摘场景的观察，发现嫩叶大多生长在老叶的上方。通过布置视觉系统从上方俯视进行拍摄，获取样本图片进行特征识别。对于样本图片（图1a）中每个样本点像素在RGB颜色空间中的分布（图1b），通过茶叶嫩叶的颜色特征识别求解出一个三维区域，将嫩叶颜色样本与老叶、环境颜色样本分隔开来。图1中蓝色星点代表老叶颜色样本，红色圆点代表嫩叶颜色样本。传统的分隔方法通常采用矩形对不同颜色区域进行分割，这种方法能够选中大部分嫩叶样本，但是所构建的颜色特征筛选范围过大（图1b红色矩形），掺杂很多背景颜色样本，无法筛选出期望的嫩叶颜色目标。
论文研究者提出了一种基于人工颜色对比增强模型(ACC)和主成分分析（PCA）的颜色特征识别方法。首先，通过ACC方法（图1c），增大目标颜色集与背景颜色集中心点（图1绿色标记点）的距离，使颜色集内部的样本点更紧凑排布（降低标准差），同时ACC还能保留图像边缘信息；其次，使用PCA找到筛选矩形紧凑排布的主方向，如图1（d）所示，构建包含目标样本的最小筛选区域，从而减小背景颜色样本的干扰，提高识别精度，克服户外农业应用中常见的目标检测问题。
图 1. 样本叶片图像、两类（老叶背景与嫩叶目标）颜色样本分布及ACC/PCA结果
为进一步提高相近颜色特征识别的精度，论文研究者使用一种自适应边界宽度优化算法（图2a），通过对比不同大小的筛选矩形识别得到的识别目标与参考基准，得到最优的特征筛选宽度。用此优化宽度构建紧凑的特征筛选矩形，能够求解获得较好的嫩叶识别结果，如图2（b）所示。
图 2. 自适应边界宽度优化算法流程及识别结果
研究结果表明，可以通过目标-背景的距离与目标/背景集群是否紧密这两个指标选择最佳的ACC 模型。通过与传统的 RGB/PCA方法相比，ACC/PCA方法可以大大减小误差（目标对象丢失像素的百分比），同时将噪声降低到可忽略的程度。再通过简单的形态学运算即可得到很好的目标嫩叶识别结果。
▍二、不同筛选区域的对比分析
除了常规的矩形筛选边界形状外，论文研究者还使用了另外两种筛选边界形式：对目标/背景分别PCA后求差（如图3a）及椭球形筛选边界（如图3b）。
图 3. 目标与背景分别PCA训练并筛选及椭球筛选
图3（a）的边界形式中，对目标和背景颜色特征集分别进行PCA训练后，选择老叶与嫩叶的代表图像，并使用图2（a）的算法流程求解最优的筛选宽度进行识别，得到两幅识别结果图。最后再将两幅结果图相减，获得最终的识别结果。此方式除了可以使用矩形面、曲面进行筛选，还可以使用直线、曲线作为筛选边界，大大提高了求解计算速度。
图3（b）的边界形式中，在图2（a）所示流程确定最佳宽度的条件下，使用椭球、椭圆作为筛选区域的边界，如图所求，椭圆边界可进一步提高分界精度，减少背景颜色误差的干扰。
研究结果表明，如果分别对目标和背景特征进行PCA训练，则可以将三维RGB颜色空间特征降维为一维问题。这一方法可以将检测时间降为三维矩形边界的一半，但会牺牲一定的精度和鲁棒性。三维矩形和椭圆体边界形式能获得最好的识别效果，识别相对误差约3%，噪声干扰可忽略不计。
▍三、不同光照和天气场景下的应用结果
使用最优的筛选形状对大量自然场景样本进行实验算法验证。如图4所示，在晴天和小雨天上午八点到十二点，每个小时拍摄12张叶片图片作为样本图像，共获取120张。将其分为10组，每组选取2张作为训练样本，其余10张作为测试样例。
研究结果表明，自适应边界宽度优化算法（图2a）对每张图片的训练时间均小于5秒，ACC/PCA嫩叶检测计算时间约为0.1秒，满足实时性要求。在自然场景下，ACC/PCA对颜色相近嫩叶目标的识别误差约为7%，晴天和雨天的识别噪声分别为4%和5%。这一实验证明了ACC/PCA方法能够完成变化户外环境下的茶叶识别任务。
图4. 不同时间和天气下的ACC/PCA检测结果
▍四、结论
论文介绍了一种基于ACC/PCA的颜色特征集识别及自适应训练方法，该方法能够有效地对自然场景下颜色相近的目标进行识别，有潜力应用于机器人嫩叶采摘的生产中。此外，论文还研究了用于特征集表征的不同形状的边界（矩形和椭圆形），并进行了对比定量评估（误差百分比、噪声百分比和检测时间），从而选定最优的筛选区域边界形状。
经过实验验证，ACC/PCA方法的运算速度能够满足机器人采茶的实时性需求，在恰当的训练后，ACC/PCA能够应对自然场景下光照和天气的变化，实现高可靠性、高鲁棒性的颜色目标识别。该算法可拓展至更广泛的生物体、天然产品、食品的识别和检测应用中。
▍期刊简介
International Journal of Intelligent Robotics and Applications（IJIRA）是由施普林格·自然集团（Springer Nature）于2017年2月正式创刊出版的英文国际期刊。该刊主要发表经同行评审、高质量的原创科研论文、简报及评论，涵盖机器人学领域的各类话题，如基础理论、技术进步，以及涉及制造业、航天器、生物医学、汽车、数据存储设备、医疗保健、家用电器和智能高速公路等应用领域的各种成果。
目前该刊已被Emerging Sources CitationIndex、SCOPUS、EI Compendex等国际知名数据库收录。
▍主编简介
李国民（Kok-Meng Lee），麻省理工学院博士，美国总统奖获得者，任美国佐治亚理工学院终身教授，IEEE Fellow、ASME Life Fellow，曾任IEEE/ASME Transactionson Mechatronics（TMech）主编（2008-2013）。主要研究领域为系统动力学与控制，机器视觉，智能传感及驱动一体化机电系统。主持与人脑肌运动控制和智能制造密切相关的美国自然科学基金、国际合作项目10余项，发表相关论文300余篇，参与出版英文专著3部，授权美国与国际专利10项。
—版权声明—
仅用于学术分享，版权属于原作者。
若有侵权，请联系微信号:yiyang-sy 删除或修改！