视觉导航是指通过摄像机对周围环境进行图像采集,并对图像进行滤波和计算,完成自身位置确定和路径识别,并做出导航决策的一种导航技术。
市场篇
视觉导航的3大实现路径
在移动机器人行业,近几年,在SLAM技术的基础上,以摄像机作为感测器的视觉导航应用正在逐渐增多。
经典vSLAM系统流程图
视觉的SLAM方案主要有3种实现路径:基于RGBD的深度摄像机、基于单目(鱼眼)摄像头、基于双目(或多目)摄像头。就实现难度而言,大致排序为:单目视觉>双目视觉>RGBD。
单目相机SLAM简称MonoSLAM,即只用一支摄像头就可以完成SLAM。这样做的好处是传感器特别简单、成本特别低,所以单目SLAM非常受研究者关注。相比别的视觉传感器,单目相机无需获取环境的绝对深度,但单目相机的最大的问题是没有尺度信息,比如图片里的比例关系,人之所以可以区分是因为我们经过了大量的训练,类似于深度学习。但是机器视觉是不能从一张图中得到空间关系的,这就需要对相机进行移动来估计不同位姿下的图像关系,从而得到尺度信息,相当于这就是一个可变基线的双目相机。
相比于单目,双目(多目)相机通过多个相机之间的基线,估计空间点的位置,在运动、静置时均可估计环境深度。与单目不同的是,双目(多目)相机配置与标定均较为复杂,其深度量程受双目的基线与分辨率限制,因此需要FPGA配合完成距离的测算。双目相机对算力的要求比较高,得益于近些年来CPU和GPU的算力越来越高,逐步发展成了主流的传感器。
RGBD相机是2010年左右开始兴起的一种相机,它最大的特点是可以通过红外结构光或Time-of-Flight原理,直接测出图像中各像素离相机的距离。因此,它比传统相机能够提供更丰富的信息,也不必像单目或双目那样费时费力地计算深度。不过,现在多数RGBD相机还存在测量范围窄、噪声大、视野小等诸多问题。出于量程的限制,主要用于室内SLAM。
与其他的导航方式不同,视觉导航AGV存在的最大优势即是允许无固定参照物。然而,在AGV的发展过程中,对车辆以及执行部件的定位精度要求也越来越高。虽然用于自动化流水线的视觉导航系统,可以做到0.1mm的定位精度,但基于无固定参照的视觉导航AGV,其定位精度往往不高(纯视觉导航)。此外,视觉导航对光的依赖程度高,在暗处或者一些无纹理区域需要借助辅助传感器。
因此,纯视觉方案在实际应用中还存在这诸多掣肘,也并没有真正意义上的纯视觉导航方案落地。而当前移动机器人的视觉导航系统,为获得更高的定位精度以及保证机器人在各种环境下稳定运行,除视觉导航外,还需要其他的导航或定位系统作为辅助,同时,尽可能使用有固定参照物的视觉导航系统,能够获得更好的定位精度和安全性。
落地应用逐渐增多
尽管与已经逐步迈入成熟期的激光slam导航AGV相比,视觉导航的发展要稍稍滞后,但由于其特性,视觉导航被认为是未来行业应用的主要方向之一。
首先是价格优势。与市面上主流磁导引/激光导引AGV相比,视觉传感器的优势首先是性价比极具竞争力,世界顶级工业相机供应商的产品售价约为人民币3000元,是同等级的激光传感器产品售价的10-20%。而较低的制造成本意味着较低的产品价格,对提升本体企业产品竞争力或终端客户投资回报周期都更加利好。
其次在智能化上,视觉导航信息获取能力强大。视觉导航由于能从环境中提取语义信息,因此能够适应客户在常规使用需求中的复杂场景,如识别长时间使用而变形的货架、托盘;提取短时间内激增的搬运量信息;狭小空间情况下的车辆调度等。
此外,视觉导航模块具有系统拓展性。随着通信设备/处理器等周边配套设施的不断完善,视觉导航模块正飞速进步,视觉导航与计算机连接可以实现大规模的调度任务,而视觉导航技术与5G及云端系统的融合也将更进一步。
图表:国内主流视觉导航AGV/AMR厂商(本表粗略统计,如有未完善之处,请指正!)
从入局企业来看,目前行业内专注于视觉导航的产品的企业并不多,很多企业都将其作为其中一个产品线发展,有一些企业则还在观望中。总体而言,伴随着入局企业的不断增多,视觉导航技术近几年也得到了进一步的发展,尤其是落地应用在不断增多,未来,随着技术的进一步发展以及市场对视觉导航产品认知度的进一步提高,相信将很会迎来规模化应用。
企业篇
未来机器人:视觉工业无人车辆突破多个物流核心刚需场景
未来机器人从事工业无人车辆的技术开发及生产,自2016年起,结合计算机视觉、运动控制、人工智能、深度学习等技术,公司研发并生产多系列视觉工业无人车辆,现致力于融合L4级无人驾驶感知技术及视觉伺服运动控制技术,实现视觉工业无人车辆在多个行业的规模化推广。截至2021年,未来机器人已开发并量产八大系列视觉工业无人车辆及配套软件系统,其产品特点如下:
a)快速部署:利用工业相机强大的信息获取能力进行视觉SLAM建图,与其他方案相比,可减少80%反射板等人工标签的使用,对场地改造接近零,对现场环境变更的容纳性更强;
b)高精度感知与控制:基于联合研发的新一代复合传感器,大幅提升工业无人车辆感知空间与感知精度,可实现高度智能化的自主导航取放货和绕障,单车运行效率更高、更稳定。对随机品类、随机位姿货物的高精度自适应取放(误差小于±5mm);
c)大规模车辆调度:对车辆进行云端调度,具有高效率、高柔性、安全稳定等优点。无缝对接MES、WMS、ERP等系统,配合未来机器人视觉导航模块,实现多机型、跨场景调度;
d)低成本存量车改造:无需改造原车结构和系统,适配不同品牌/驱动方式的工业车辆,解决工业车辆通用控制问题。
在系列产品开发的同时,未来机器人也在不断探索各行业场景应用,2019年,其室外无人牵引车上市,突破了长距离室外无人搬运场景。2020年,首次突破了外月台无人化装卸车场景,未来机器人为某特大型石油化工行业集团公司打造的视觉导航无人叉车系统成功落地,该解决方案为行业内首例针对外月台装车场景的物流无人化解决方案,实现了工厂物流从线边转运-货物堆叠-外月台装车的真正全流程无人化升级。
目前,未来机器人视觉工业无人车辆已经广泛应用于石化、烟草、工程机械、汽配、轮胎、电商物流、第三方物流、3C制造、食品制药、新能源等领域,涵盖了外月台装车、料笼堆叠、货物上下架、室外长距离运输等核心场景。落地项目总计75个,累计客户超过100个,其中包括三十多个世界五百强企业,累计出货量超过500台。
井松智能:系列视觉AMR打通制造业搬运各环节
作为国内领先的智能物流系统集成商与物流装备制造商,井松智能自2014年起就投身于视觉导航机器人的产品研发,并与2017年推出首款甲壳虫系列视觉导航AGV,后续逐渐推出了基于视觉SLAM融合导航技术的长颈鹿、梅花鹿、灰骆驼、猛犸象、小精灵等多系列AMR产品矩阵。
其中,窄巷道梅花鹿AMR是井松智能视觉导航系列产品中比较有代表性的一款,具体特点如下:
(1) 智能状态感知:基于3D视觉技术,实时感知周边作业环境;感知货物结构、偏离、超限、重量偏差等核心参数体现;实时感知“人、机、物”距离、坐标位置等关键因素变化。
(2) 实时分析决策:基于视觉SLAM融合导航技术,无需现场做任何改造,实时建立监控地图,根据智能算法,不断分析AGV位置变化,实时决策路径轨迹,兼容不同的作业场景。
(3) 精准高效执行:视觉较位,感知托盘、货物的结构与位置,取放货时二次视觉校验复合,实时纠正取放、行走的路径及定位坐标,同时,优化行走和末端取放货的速度,实现AGV产品高精度定位与高效运行工作。
(4) 柔性可视部署:自带大屏可视化人机交互,无需环境改造,可自然环境实时建图,声音与灯光指引,具有自学习和优化能力,无需人工过多干预,巷道利用率提升100%,可实现快速定制部署。
(5) 智能安全管控:可实现360°全覆盖的安全检测避障功能,可实现人、机、物混场使用;车头正前方配有3D安全相机,顶部激光雷达立体扫描,车头两侧激光雷达270°扫描,实现低矮物高度检测;叉齿装有微视觉相机和机械防撞条,做到多级安全防护管控策略。
当前,井松智能的视觉导航产品,已经大量应用于制造业中的原辅料、成品的搬运、配送等作业场景以及空托盘或空容器的叠放收集、搬运作业环节。如井松为重庆市旺成科技打造的智能仓储一期项目中,10台窄巷道叉车式视觉融合导航AGV、8台全向式视觉融合导航AGV,再结合中央调度系统,使存储空间利用率提高了60%,配送效率提高了50%;人力缩减60%;物流管理成本降低了50%。
自2017年推出首款视觉导航移动机器人以来,井松智能一直在不断迭代技术,推陈出新,扎实的产品也获得了市场的青睐,截止2021年5月,其相关产品累计出货量已达上百台套。
蓝芯科技:聚焦深度视觉,赶超一流企业
2021年3月,蓝芯科技对外宣布完成A轮融资;4月,蓝芯科技正式发布移动机器人视觉避障产品Eagle-M3。蓝芯科技作为一家VMR(Vision Mobile Robot)公司,其核心技术深度视觉逐步从低调的幕后走向台前。
从3D视觉传感器到整机,打造全链条产品矩阵
蓝芯科技成立于2016年,虽是一家年轻的机器人公司,但其在视觉领域已沉淀多年,——蓝芯科技的创始团队出自中科院自动化所,有近二十年时间在视觉领域进行技术研究、探索和创业,是不折不扣的“中科系”。
基于人口老龄化国情和智能制造发展趋势,又经历机器视觉在安防领域的产业化,蓝芯科技创始团队研判:机器人时代已经来临,而深度视觉可提升机器人的柔性、智能性,未来每一台机器人必然拥有至少一套视觉。
蓝芯科技提前布局、持续投入,目前已拥有从3D视觉传感器、视觉系统、机器人整机到行业解决方案的全链条产品矩阵。全链条产品矩阵使蓝芯科技拥有多行业、复杂场景的客户服务能力。
深度视觉赋能制造业多场景应用
在某大型消费电子企业厂区,环境复杂多变,对移动机器人定位导航是一大考验,尤其在成品库,货物出入库频繁,依靠激光雷达进行导航容易丢失定位,而采用3D视觉导航则能解决场景变化导致的定位丢失问题。
此外,该企业对机器人的安全级别要求较高,单纯采用激光避障存在较大盲区,而3D视觉避障可弥补激光避障缺陷。项目上线后,该厂区实现了原料仓——生产区——成品库的全自动化物流。
聚焦深度视觉技术与市场,赶超一流企业
蓝芯科技创始人兼CEO高勇博士表示,蓝芯科技自创立以来就立志于做新一代的工业移动机器人,通过深度视觉赋予机器人强感知能力。经过持续投入,蓝芯科技的移动机器人深度视觉系统已形成完整的技术体系,且应用市场正快速推进。
目前,蓝芯科技的产品和解决方案已覆盖3C电子、半导体、新能源、汽车零部件、工程机械、服装等多个行业,合作客户包括华为、中兴、东芝、富士康、中国商飞、浙江省公安厅、伟星、柒牌等。
“技术上学习新松的创新开拓,业务上赶超目前的新松。“——蓝芯科技已为自己确定了学习和追赶的目标。