作者：Tom Hardy
Date：2020-2-14
来源：面向高精度领域的视觉伺服算法汇总

前言

视觉伺服是工业上很重要的一个领域，在自动装配、高精配准上应用非常多。针对近两年常见的算法模式，在这里进行了简单的汇总。

1、Predicting Target Feature Configuration of Non-stationary Objects for Grasping with Image-Based Visual Servoing

本文研究了RGB-D相机无法提供有效深度信息时，闭环抓取的最后逼近阶段问题，这对于当前机器人抓取控制器失灵的情况下抓取非平稳物体是必要的。在最后的抓取姿态下，本文预测观察到的图像特征像面坐标，并使用基于图像的视觉伺服来引导机器人达到该姿态。基于图像的视觉伺服是一种成熟的控制技术，它可以在三维空间中移动摄像机，从而将图像平面的特征配置驱动到某种目标状态。先前的工作中，假设目标特征配置是已知的，但是对于某些应用，这可能是不可行的，例如第一次对场景执行运动。本文提出的方法对抓取最后阶段的场景运动以及机器人运动控制中的误差具有鲁棒性。

2、Camera-to-Robot Pose Estimation from a Single Image（卡内基梅隆大学，代码开源）

本文提出了一种从单个图像估计摄像机相对于机器人姿态的方法。该方法利用深度神经网络对摄像机的RGB图像进行处理，检测机器人上的二维关键点，并利用区域随机化的方法对网络进行完全的模拟训练。假设机器人机械手的关节结构已知，一般使用PnP方式恢复相机外部。与传统的手眼标定系统不同，本文的方法不需要离线标定步骤，能够通过单帧计算相机外参，从而打开了在线标定的可能性。本文给出了三种不同摄像机传感器的实验结果，证明了该方法能够在单帧条件下达到比传统的多帧离线手眼标定更好的精度。通过附加帧，精度进一步提高。

3、Learning Driven Coarse-to-Fine Articulated Robot Tracking（ICRA2019）

本文提出了一种机器人关节跟踪方法，它只依赖于颜色和深度图像的视觉线索来估计机器人在与环境交互或被环境遮挡时的状态。文章假设只有在观测状态和估计状态之间建立亚像素级的精确对应关系时，关节模型拟合方法才能实现精确跟踪。以前工作只依赖于识别深度信息或彩色边缘对应作为跟踪目标，并要求从联合编码器初始化。本文提出了一种粗糙到精细的关节状态估计器，该估计器仅依赖于颜色边缘和学习到的深度关键点的视觉线索，并由深度图像预测的机器人状态分布初始化。在四个RGB-D序列上评估了论文的方法，展示了KUKA-LWR臂和 Schunk-SDH2手与环境进行交互，并证明这种组合的关键点和边缘跟踪目标可以在不使用任何联合编码器传感的情况下进行平均误差为2.5cm的手掌位置估计。

4、CRAVES: Controlling Robotic Arm with a Vision-based Economic System（CVPR2019）

训练机器人手臂来完成现实世界的任务已经引起学术界和工业界越来越多的关注。本文讨论了计算机视觉算法在这一领域中的作用并专注于没有传感器的低成本机械臂，因此所有的决策都是基于视觉识别，例如实时三维姿态估计。然而，这就需要标注大量的训练数据，不仅费时而且费力。基于该原因，本文提出了一种新的解决方案，即利用三维模型生成大量的合成数据，在该虚拟域中训练一个视觉模型，并在域自适应后应用于真实图像。为此，论文设计了一个半监督方法，充分利用了关键点之间的几何约束，并采用迭代算法进行优化。该算法不需要对真实图像进行任何标注，具有很好的推广性，在两个真实数据集上得到了不错的三维姿态估计结果。本文还构建了一个基于视觉的任务完成控制系统，在虚拟环境中训练了一个强化学习agent，并将其应用于现实世界。

5、Robot Arm Pose Estimation by Pixel-wise Regression of Joint Angles（ICRA）

为了用机械臂实现基于视觉的精确控制，需要良好的手眼协调。然而，由于来自关节编码器的噪声读数或不准确的手眼校准，了解手臂的当前配置可能非常困难。提出了一种以手臂深度图像为输入，直接估计关节角位置的机器人手臂姿态估计方法。这是一种逐帧的方法，它不依赖于前一帧解的良好初始化或来自联合编码器的知识。为了进行估计，本文使用了一个随机回归森林，它基于综合生成的数据进行训练。论文比较了随机森林的不同训练目标，并分析了手臂的先验分割对训练精度的影响。实验表明，这种方法提高了先前的工作，无论是在计算复杂性和准确性方面。尽管只对合成数据进行了训练，但这种估计也适用于真实的深度图像。