ROS-机器视觉:特定物体识别(find_object_2d包)

264
0
2021年1月28日 09时01分

 

ROS的优点之一是有大量可以在应用程序中重用的软件包。在我们的例子中,想要实现一个物体识别和检测系统。而find_object_2d包(http://wiki.ros.org/find_object_2d)就是一个物体识别和检测的ROS包,它实现了SURF、SIFT、FAST和BRIEF特征检测器(https://goo.gl/B8H9Zm)和用于物体检测的描述符。通过此包提供的GUI,可以标记待检测的物体,保存后可用来进行特征检测。而此包提供的检测器节点可检测摄像头图像中的物体,并通过主题发布物体的具体信息。此包还能通过3D传感器估计物体的深度信息和朝向信息。

 

先看一下这个功能包的效果:

 

微信图片_20210125155728

 

安装find_object_2d包

 

安装这个软件包很简单。在Ubuntu 16.04和ROS Kinetic版本上的安装命令如下:

 

 sudo apt-get install ros-kinetic-find-object-2d

 

将源代码克隆到src文件夹中,命令如下:

 

git clone https://github.com/introlab/find-object.git src/find_object_2d 

 

然后catkin_make编译,不出错的情况下就可以顺利使用这个包了!

 

运行find_object_2d节点检测网络摄像头图像中的物体

 

下面是运行检测器节点检测网络摄像头图像中物体的流程。按此流程操作之前,首先需要安装usb_cam这个依赖包。

 

roscore

 

将USB摄像头插入电脑,并启动ROS usb_cam驱动:

 

roslaunch usb_cam usb_cam-test.launch
 

 

命令将启动USB网络摄像头的ROS驱动程序,可以使用rostopic list命令列出此驱动程序中的主题

 

微信图片_20210125155825

 

将使用摄像头的原始图像,该图像将被发布到/usb_cam/image_raw主题。下一步所要做的就是使用下面的命令运行物体检测器节点:

 

 rosrun find_object_2d find_object_2d image:=/usb_cam/image_raw 

 

该命令将打开如图所示的物体检测器窗口,可以在其中看到摄像头采集到的图像和物体上的特征点。

 

微信图片_20210125155848

 

那么如何用它来检测一个物体呢?下面是使用此工具执行基本检测的步骤。

 

1)右键单击此窗口左侧面板(Objects),将会出现Add objects from scene选项,选择此选项,将会弹出一个Add object对话框,它将引导你标记所关注的物体,在完成标记之后,标记物体即开始被跟踪。图6-4显示了第一步,它正在拍摄包含该物体的场景。

 

2)将物体对准摄像头后,按Take Picture按钮获取物体快照。

 

3)下一个窗口用于从当前快照中标记物体,如图所示。首先使用鼠标指针来标记框选物体,然后单击“Next”按钮裁剪物体,接着继续下一步。

 

微信图片_20210125155907

 

4)裁剪物体后,将显示物体特征描述符总数,你可以点击“End”按钮添加此物体模板进行检测。

 

5)恭喜!你已经添加了一个待检测物体。一旦添加好物体,你将会看到物体周围多了一个边框,这说明此物体被检测到了,如图所示。

 

微信图片_20210125155919

 

微信图片_20210125155922

 

可以使用下面的命令查询物体的位置:

 

rosrun find_object_2d print_objects_detected

 

微信图片_20210125155953

 

你还可以通过/object主题获取被检测物体的完整信息。该主题发布一个多维数组,该数组包含物体的宽、高信息和单应性矩阵信息,这些信息用来计算物体的位置、方向和剪切值。利用话题回显命令,回显话题/object将得到如图所示的结果。

 

微信图片_20210125160011

 

date:后面第二、三个数据是宽度和高度,剩下的9个数据构成一个3×3的矩阵,
可以用下图公式计算位置和方向

 

微信图片_20210125160023

 

其中,H是3×3的单应性矩阵,(x1,y1)是物体在存储图像中的位置,(x2,y2)是物体在当前帧中的位置。
这就对我们开发机器人很便利了,我们只需要订阅这个话题,获取我们想要的消息。
此文相当于介绍性质,下载功能包后可以自己探究一下功能包原理,这个功能包比较庞大,不在这再做分析.

 

发表评论

后才能评论