「天才少年」稚晖君调戏机械臂!加上AI视觉,2小时学会抓螺母
共 2612字,需浏览 6分钟
·
2021-11-27 05:46
![](https://filescdn.proginn.com/73c23831451d5010e8b567cec6768493/b0e3168868ae0893a5321a8a7a5978b5.webp)
极市导读
还记得上次那个全栈自研给葡萄缝针的钢铁侠机械臂Dummy吗?这次,华为「天才少年」稚晖君用机械臂实现精准抓取螺母,从模型训练到部署只花了2个小时。>>加入极市CV技术交流群,走在计算机视觉的最前沿
还记得上次那个「全栈自研」的给葡萄缝针的钢铁侠机械臂Dummy吗?
![](https://filescdn.proginn.com/ef51d94abf77c30d4ccabe3f29d26f07/a0ab816a70e0b6684e5f1380f6a80e34.webp)
国庆最后一天,知名「硬核」up主稚晖君展示了一款自己从零到一设计的小型高精度六轴机械臂Dummy。
视频一出,直接冲到B站排行榜前十,打开弹幕,满屏都是惊叹号。
![](https://filescdn.proginn.com/aca2e95586419083cef3c889c809c272/6d3786db89c17e14315c88d295664437.webp)
「瑟瑟发抖」、「保存=会做」、「他竟然在试图教会我们」、「我看不懂,但大受震撼」,这些都代表了网友对这个机器人项目的震惊。
![](https://filescdn.proginn.com/18cddd96bcd1f67b8184f6903658ad7c/749c6dd296de0297d30f07353f3b8830.webp)
没想到,时隔一个半月,华为天才少年稚晖君的「机械臂Dummy」系列又更新了!
Dummy学会抓螺母
这次,稚晖君用Dummy做了个简单的AI视觉抓取demo,让机械臂Dummy学会了用机械臂抓取螺母。
![](https://filescdn.proginn.com/ce30b05787962de99e28d0f435efaf92/eb6b91996edeaf2d3b248b98fde0b28b.webp)
机械臂好不容易将螺母放上去,又被稚晖君拿了下来。
![](https://filescdn.proginn.com/5af8e7deeb61dc0cf4ca6b4c676d9b67/8bb0297a55391ce38ef4e371c1424e0f.webp)
怎么说呢,调试不等于调戏啊!
![](https://filescdn.proginn.com/06443fdddbec82711de8e7f850ec2027/c351263886542d0e4fe4f94a6fc6f98e.webp)
稚晖君介绍,目前用Dummy做了个简单的AI视觉抓取demo,从模型训练到部署只花了2个小时。
后面会把迁移学习功能加入上位机DummyStudio中,最终想实现的效果就是,可以用少量数据标注就自动生成端到端的模型来检测自定义物品。
![](https://filescdn.proginn.com/49bb2a72012f3a36d00c8675bf0120cb/832be9eab0cc62217533c087e1eecb18.webp)
同时用图形化的方式调用各种算法模块,配合后面的Dummy青春(低成本)版,应该可以用来做很多有趣的事。
有网友表示,「放一张螺母照片会怎样」?
![](https://filescdn.proginn.com/c3ad393c69f5a7aaee8773337ed6a561/91867224070b75b1db4c447f0002afd1.webp)
真是应了那句话:「工程师最苦恼的就是你永远想不到客户会怎么使用你的产品」。
「钢铁侠」机械臂如何造
还是在一个月前,这台机械臂首次亮相。在给一颗葡萄完成包扎手术后,让许多网友惊呆!
![](https://filescdn.proginn.com/070ceefa347142e45c147fa0f64ced97/2131ac058adf55915499499733fc7686.webp)
其实,稚晖君想要打造的机械臂,是具备多种交互方式的。
这两只小爪子就叫做「力反馈夹爪」,不仅可以夹螺母,用来夹薯片也是不错的选择。
![](https://filescdn.proginn.com/44f3dfcae8ff0a15faf93580d87a2286/daefb2e08f1e8639a9229f11bbad64e0.webp)
那么,这个机械臂是如何打造的?
首先是驱动方案设计,要知道电机,减速器,驱动器是制作机器人三大核心部件。
在电机的选择上,稚晖君主选步行电机,优点是精度比较高,缺点是高转速下力矩比较小。
为了解决这一问题,为电机配备一个减速器必不可少。有了减速器就可以降低速度转速,成倍增加输出力矩。
![](https://filescdn.proginn.com/e65baefd5f489e768b8eb8da422e396b/22933a399de3fce00002dd4a5fc54a97.webp)
目前市面上常用的都是行星减速器,稚晖君在此项目中选择了工业机械臂里最常用的谐波减速。
电机和减速器确定后,稚晖君设计了一个步进电机的一体闭环驱动,以保证驱动的精度。并且体积也是最小的。
![](https://filescdn.proginn.com/2329f00a5bf2fdd7571808866ac928ec/02b0ca442f5d6359926aa2b99c7ad0c7.webp)
第二步便是结构设计,仅设计这张图就画了150个版本,最终的画风如下:
可以看到,这个机械臂一共使用了6个电机,6个谐波减速器。
机身主体采用的是铝CNC加工,装饰主件使用3D打印制作,还有所有电路都集成在主体上。
值得一提的是,机身的涂装特地采用的是鲜艳的红色,稚晖君说:「这是因为他希望自己的机器人一定要是中国红的颜色」。
接下来便是机械臂的电子系统。电路系统还是相当复杂,因为涉及到了电源模块、电机驱动,还有计算模块,通信系统等等。
稚晖君介绍这套机械臂用了12多个各种型号的MCU,并在机体上搭载了Wi-Fi、蓝牙等多种无线能力。
![](https://filescdn.proginn.com/174aaeb6fffe9f9955808b9349ddd0e5/22a46e9b1038881a1f92e5589554bdc6.webp)
在电路方面,最主要的便是主控制器(采用冗余设计)和电机伺服驱动器(支持CAN总线&功率机联)。
控制器相当于机械臂的「小脑」,用来操控机械臂的动作、来实现各种功能。
最后就是空间定位装置了,也就是机械臂的「眼睛」,让机械臂能够看见、并操作需要完成的任务。
在这里便用到了双目视觉算法、AHRS系统和力传感系统,稚晖君通过双目识别算法让AI实现姿态估计类似操作。
经过一系列的组装,最后的效果就是这样,精度也十分令人满意!
![](https://filescdn.proginn.com/2f4350351ea79dc03fa72013aface270/de43940409c744640989b7679edcaf2e.webp)
而且,有了双目识别算法的加持,机械臂的动作就可以用手柄进行实时的操控,机器人也可以模仿人类的动作了。
它可以达到很多人手无法达到的效果,比如,软件去抖,运动范围的重映射,力矩增强。
更重要的是,这台Dummy是支持远程操控的,这下,可想象的空间就非常大了!
虽然现在看着缝的是葡萄皮,但Dummy配合上手术设备,这有可能就是未来远程手术室的雏形!
网友热评
有网友评论道:「太有感觉了,又想起了去年的英特尔杯,整个队伍折腾了好几个月,用的英特尔AI-Box和RGB-D深度相机,最后勉强实现了UR机械臂抓取大物品(而且经常抓不稳),摆放到指定位置,也能拿到国二。稚晖君机械臂自己做的,加上这精度,估计单单抓取这项功能就能稳国一了。」
![](https://filescdn.proginn.com/c00f4f7b72b95851c2fd96b2ebc25590/47b7fc1d458b3ae708876df30a1b6a54.webp)
「你懂的越多,才知道稚辉君有多强大。」
还有网友说:「光AI视觉这块就搞了大半年,更不要提造机器人了。」
稚晖君的Dummy机械臂未来还会添加哪些炫酷的功能,Dummy青春(低成本)版又是否能量产呢?
敬请期待稚晖君的下一条视频吧!
参考资料:
https://www.bilibili.com/video/BV1xY41147oh
如果觉得有用,就请分享到朋友圈吧!
公众号后台回复“transformer”获取最新Transformer综述论文下载~
![](https://filescdn.proginn.com/0e82a09c74ba9d23df231c1c0f9ec77c/419210d95f146962b094fafc04309b79.webp)
# CV技术社群邀请函 #
![](https://filescdn.proginn.com/117c406aca6743128a796d0b335de004/6dfe3682d3ba6dbe0c13af64a1cc34db.webp)
备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)
即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群
每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~
![](https://filescdn.proginn.com/90594208d0d953afe4d4f8ea03b41dd6/add52c3e6d5136ea2d2c852a480d1c6f.webp)