一种基于深度学习的机械臂分拣方法进行中

本项目实现了一种基于基于轻量型卷积神经网络的机械臂快速分拣方法,使用GuYueInvent PROBOT Anno实现了目标物体的检测,定位和分拣。

许可证: BSD License

2 0 0

项目描述

针对分拣过程中,视觉系统识别复杂物体时存在速度慢、对环境变化适应性不足的问题,本项目提出了一种基于轻量型卷积神经网络的机械臂快速分拣方法。该方法首先使用基于轻量型卷积神经网络的 MobileNet-SSD 算法对图像中的目标物体进行检测,获取目标类别和位置信息;然后根据检测输出对图像进行预处理和边缘检测,最终得到校正后的定位结果。

 

本文在 GuYueInvent PROBOT Anno 机械臂平台上完成分拣实验。实验结果表明,本文提出的方法能对复杂目标物体实现快速的检测和定位,相比于传统的图像处理方法,对目标形态和环境多样性具有更好的鲁棒性。

硬件和材料列表

GuYueInvent PROBOT Anno x 1

Logitech C270 x 1

吸盘 x 1

软气管 x 1

USB 3.0线缆(1.5米)x 1

以太网网线(1.5米)x 1

便携式气泵 x 1

抓取物体打印 x 3

工作台 x 1

电脑 x 1

摄像头支架 x 1

开发环境

ROS-Kinetic Ubuntu18.04

安装部署过程展示

一种基于深度学习的机械臂分拣方法插图一种基于深度学习的机械臂分拣方法插图(1)

安全事项

需要人机防护安装

参考文献

[1]. Wang J, Dou H, Zheng S, et al. Target recognition based on machine vision for

industrial sorting robot[J].Journal of Robotics, Networking and Artificial Life.

2015, 2(2): 100-102.

[2]. Wang S, Lin H, Gai R, et al. An application of vision technology on intelligent sorting system by delta robot[C]// IEEE International Conference on E-health Networking. IEEE, 2017.

[3]. Li C, Ma Y, Wang S, et al. Novel industrial robot sorting technology based on

machine vision[C]//International Conference on Modelling, Identification and

Control (ICMIC) IEEE, 2017. 902-907.

[4]. Ali M H, K. A, K. Y, et al. Vision-based robot manipulator for industrial applications[J].Procedia Computer Science. 2018, 133: 205-212.

[5]. Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural

networks[J].Science,2006,313(5786):504-507.

[6]. 杜学丹,蔡莹皓,鲁涛,王硕,闫哲.一种基于深度学习的机械臂抓取方法[J].机器人,2017,39(06):820-828+837.

[7]. C. Zhihong, Z. Hebin, W. Yanbo, L. Binyan, and L. Yu. 2017. A vision-based robotic grasping system using deep learning for garbage sorting[C]//2017

36th Chinese Control Conference (CCC). IEEE, 2017. 11223-11226.

[8]. R. Kumar, S. Kumar, S. Lal, and P. Chand, Object detection and recognition for a

pick and place robot[C]//Asia-pacific World Congress on Computer Science &

Engineering. IEEE, 2014.1-7.

[9]. Li Z , Peng C , Yu G , et al. Lighthead R-CNN: in defense of two-stage object detector[J]. arXiv preprint arXiv:1711.07264, 2017.

[10].Liu W , Anguelov D , Erhan D , et al. SSD: single shot multiBox detector[J].

European Conference on Computer Vision, 2016:21-37.

[11].A. G. Howard,M. Zhu,B. Chen, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[J].arXiv:1704.04861, 2017.

发表评论

后才能评论

搁浅

别怕我伤心

团队简介

华中科技大学人工智能与自动化学院瑞萨实验室