随着智能制造的不断升级和落地,工厂内的智能搬运和智慧物流今年来也越来越被关注,用自动叉车和AMR来解决搬运问题也逐步成为趋势,机器人在和操作人员协同工作的环境下如何防范各种风险成为势必要解决的课题。在一些密集仓储的区域,即使在自动叉车上安装再多的传感器也无法避免一些危险情形,比如下图的情形:
由上图可以看到,在人员和自动叉车,AMR混用的场景中,在一些现场的设备、人员、货物统一管理的难题,仙工智能(SEER)推出了全感知AI物流系统RoboView,为客户解决这些难题。
RoboView的灵感来源于RoboCup小型组足球机器人比赛,作为RoboCup中最强调团队协作和对抗的组别,小型组采用了外部的视觉服务作为了机器人位置的主要感知方式,其典型场景如下:
通过外部视觉感知和统一的大脑对场景内的机器人进行统一管理,从而实现各种复杂的协作与对抗。
由此出发,仙工智能(SEER)在基于SLAM导航的体系外,又创新性地提出了RoboView全感知物流系统。
1、 RoboView架构
RoboView由感知平台和感知节点共同构成。其中全感知平台作为系统的核心,提供所有的视觉服务,为智能工厂及物流系统提供必要信息(包括库位管理信息,车队跟踪信息、设备运行状态等),小车作业视觉服务请求响应,系统安全监控信息等四大部分。感知节点包括固定或移动式的图像(2D)/点云(3D)采集设备及编组。
感知平台为独立运行的视觉服务器,其主要提供视觉AI感知能力。通过2D/3D视觉的技术实现对感知区域内的目标进行识别,定位和检测能力。全感知平台只需要一份输入,以及一个输出定义(DOO, Definition of Output),即可完成一次感知服务,因此它是多任务的,相互独立的信息感知平台。
感知节点是分布式部署的,分为固定节点和移动节点。固定节点是指固定安装的图像(2D)/点云(3D)采集设备,如普通的监控摄像头、ToF相机、3D激光雷达等都可以作为感知节点接入;移动节点指这些安装在移动机器人上的各类视觉图像/点云采集设备,通过仙工智能(SEER)的SRC核心控制器可以实现与RoboView的无缝对接;
感知节点可以通过Roboshop一站式布署软件加入SLAM地图中,并配置相应的工作流,从而实现节点的快速设置布署。同时,感知平台RoboView与仙工智能企业数字化中台SEED配合,可以实现对场所内的各个系统的部署,规划和监控的能力,并实现对AMR及无人叉车的安全监控及作业规划。
2、 AI感知技术
AI全感知平台融合了多项关键技术,为物流管理系统提供了丰富的信息。
【增强显示】通过数个固定感知节点全方位“观察”,结合多点视觉的配准、拼接、融合技术,将整个仓库的实时状态尽收眼底,在原有监控视频的基础上加入了AR增强信息,让现场人员对设备状态更加直观清晰。
【车辆监控】结合车辆自身信息,对场景内的每一辆AMR及自动叉车进行实时定位和追踪,捕获并预测车辆的运行轨迹,结合SEED中台,对偏离作业任务的车辆及时发出调整指令并向平台发出告警。
【目标识别定位】RoboView不仅仅包含常规的视觉感知算法,还包含了先进的深度学习算法,大大的提高了系统的抗干扰性。目标检测技术,能够实时从视频流中检测出目标物体,如小车或获取;3D点云的分割技术,能够直接从点云中提取目标物体,并给出尺寸,位置等重要信息,使算法更加稳定、可靠。另外,通过图像语义分割技术,还可以为仓库的管制标记、道路标识和作业车等进行一次性分割、提取,为控制平台提供了另一项重要信息。
【库位管理】通过部署在场景中的多台固定感知节点,感知平台能够实时获取场景里的所有库位信息,并通过2D识别技术,识别&定位出库位的有效信息,包括但不限于有无货物,有无小车,有无异物侵入等信息,并将这些信息发布出去(根据物流系统的配置,可能发送给物流系统和小车),物流系统或小车能够根据这些信息做有效的决策,大大提升了仓库管理效率。