代码全开源、一键运行的工业视觉检测案例教程,数据、算法、硬件全解析

新机器视觉

共 1921字,需浏览 4分钟

 ·

2021-10-25 12:56

随着深度学习技术的不断突破和产业应用门槛的不断降低,越来越多企业希望通过AI技术实现产业升级。但是在AI落地过程中往往会遇到如下问题:

 
为了帮助企业解决AI产业应用的难题,加快推进AI应用节奏,近期百度飞桨与企业伙伴合作,联合开发了产业实践教程。实践教程内容覆盖AI落地全流程,包括:数据处理、模型选择、模型优化的详细代码和和图形化的模型部署demo,手把手指导用户操作,是不是超级棒!
 


此外,案例教程的覆盖场景与真实的AI产业应用紧密结合,根据目前企业AI落地高频需求选取,包括:板缺陷检测、钢筋计数、2D视觉辅助机械手抓取、表计检测。


感兴趣的小伙伴可以直接访问github链接:
https://github.com/PaddlePaddle/awesome-DeepLearning/tree/master/Paddle_Enterprise_CaseBook

1. 钢板缺陷检测(合作企业:中国机械总院)

作为生产制造过程中必不可少的一步,表面缺陷检测广泛应用于工业领域,如:3C、半导体及电子、汽车、化工、医药、轻工、军工等行业。而钢材作为基础的工业材料,在出厂之前的检测更加严格。

 
机械总院根据在以往项目的经验,在钢板缺陷检测的场景中,设计了相应的解决方案
  • 结合不同工厂的生产节拍和部署硬件的情况,设计了轻量化和高精度两种模型选择方式,提供了UNetHRNet的模型优化方式,满足不同场景需求。

 


  • 根据数据分布情况给出了优化方式,提供了可视化的脚本,更直观的观察数据变化情况。


 
  • 提供了工业级别的部署Demo,支持用户输入单帧、文件夹、视频流的输入,满足工业级别部署需求。


 
2. 钢筋计数(合作企业:上海天覆科技)

商品出库或者到货后都会进行盘点计数,防止因遗漏造成的财产损失。传统盘点方式无非是手工逐一数,应用深度学习的目标检测技术,可以自动化的实现药品计数、工件计数、钢筋、圆木计数、牛羊计数等。目前“XX串串香”已经应用此方案实现自动『数签签』。



在工业生产中,钢筋、圆木计数的场景非常多见,它们有个共性特点:产品密集、环境不固定、模型端侧部署。


 
为了解决如上诉求,飞桨与企业伙伴合作,联合设计和实施了如下方案。
  • 项目中应用了模型错误分析法则(paddlex.det.coco_error_analysis),可以直观了解到当前模型的精度,进而指导模型优化方向。如下图中黄色区域表示漏检,该处面积越大,漏检越严重,指导用户从漏检方向(如增强主干网络)优化模型。


 
在本次与企业伙伴联合开发案例时,不仅总结了成功经验,同时也把项目落地时常遇到的问题和解决方案进行了总结,帮助大家对优化方式有更全面的了解。
 


  • 提供手机端部署Demo(通过Paddle Lite推理),满足移动端部署需求。

 


3. 2D视觉辅助机械手定位(合作企业:遨博机器人)

随着制造业的产线自动化、智能化需求的不断提升,机器人和AI视觉技术的结合越来越广泛,如:视觉引导的涂装、焊接或机械手抓取等。
在项目落地中,目标物体轮廓的精准定位非常关键。在视觉定位过程中,需要通过对相机的标定,来求取相机和实际物体的坐标关系,进而转化成机械手可以识别的坐标空间。但在实际场景中,目标所处的环境非常复杂,遨博机器人公司结合自身经验,总结出了一套深度学习抓取方案。


在方案中给出了深度学习进行机械手视觉定位的方式,提供了基于实例分割获取目标坐标的处理方式,极大的简化了视觉导视流程。


4. 工业表计读数(合作企业:苏州中兴克拉)

在电力能源厂区需要定期监测表计读数,以保证设备正常运行及厂区安全。但厂区分布分散,人工巡检耗时长,无法实时监测表计,且部分工作环境危险导致人工巡检无法触达。针对上述问题,希望通过摄像头拍照+智能读数的方式高效地完成此任务。

 
针对这样复杂的场景,苏州中兴克拉公司工程师,提供了新的解决思路,针对复杂场景,提供了模型串联的方案,利用目标检测的方式对表盘进行检测,并从图片截取出来,在对表盘利用语义分割模型将指针和刻度分割,结合传统图像处理算法,实现表计读数的获取。

  
为了让小伙伴们便捷的应用这些案例教程百度飞桨高工于1026-28为大家准备了相应直播课程,欢迎小伙伴们报名参加get 真实场景的产业实践教程

扫描二维码报名立即加入技术交流群

精彩内容抢先看快来收藏课程海报吧



点击下方“阅读原文”也可报名:
浏览 19
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报