绪论


我是致力于研究使用机械手控制超声探头的运动，最终实现用机械手代替人类的部分工作，实现对部分疾病的筛查，这样可以缓解超声科医生的工作压力。同时·，这项技术如果成功且成熟了，那么以后可以将其推广到偏远的贫困地区，这个意义是非常重大的。因为培养一个成熟的超声科医生需要三到五年时间，而对于技术熟练的医生来讲，他们是不愿意到偏远地方长期任职的，因此开发这个技术可以给偏远地区的人带来很大的福利。


在研究之前，我看了好多相关的论文，发现这项技术是伴随着医疗机器人，从很早之前就开始了，大家最熟悉的就是达芬奇医疗机器人。这项技术是伴随着工具引导而产生的，如引导针头，手术工具等。而最早实现或者提出实现自动控制超声探头思想的，使用的是步进电机；后来逐渐演变出人机协同工作、远程遥控操作、以至于到现在的完全自主控制。


就我的调查，最早发表研究论文的是加拿大不列颠哥伦比亚大学[1-8]，他们从1999年开始进行研究该项目，然而在之后的几年，他们停止发表相关工作，估计是项目结束了，也可能是那时候模式识别技术还没有发展起来，计算机算力也不行，机械手性能也不好，所以效果不好，到2002年以后，这个项目就停止了，论文也没有了。
上面八篇论文可以看一下，但是基本上可供参考的意义不大的。


但是呢，随后，2005年之后，法国的大牛Krupa团队开始了这项技术的研究，并正式将机械手的out-of-plane motion 和 in-plane motion 应用到对超声探头运动的分解，并最开始将超声探头的运动进行分解，认为探头在每个坐标轴上的运动都对超声平面内的器官位置、器官切面、图像质量有重要影响。


Kruoa的论文大致在下面[9-13]，我估计也是项目结项了，但是之后，这个Krupa坚持了下来，并将该技术推向了一个高峰，是现在世界上与慕尼黑工业大学分庭抗礼的机械手引导探头运动的团队。但是就贡献来讲，这个项目比之前加拿大的研究有了质的进展，实现了全自动扫查，但是实际效果以及机械手的使用还存在问题。
这边需要提出的是，在Krupa大神之前包括加拿大的那我大牛，他们使用的都是基于图像的视觉伺服。而且所用的方法也是按部就班的套路，Krupa大牛的图像矩方法也是很不错的一个思路[14,15]，无独有偶啊，这该思想，我们中国的一个大博士在加拿大搞博士研究的时候也搞了类似的研究[16]。【16】这篇论文我给出来的是一个期刊，具体的博士路文我找不到连接了，但是我下载下来了，有需要的读者可以下面评论问我要。我是强烈建议大家看看这个liu的博士论文的。


在这里插入图片描述


后来，随着模式识别技术和计算机算力的提升，到2016年以后，这项技术开始有新的进展。
上面提到了，目前主要的研究团队是两个：
第一个是德国的慕尼黑工业大学；
第二个是法国的Krupa团队。
我总结了这俩伙大牛的论文，发现了一些共同点：


  1. 对计算机算力的要求比较高；
  2. 对力觉控制尤其重视，认为力觉不仅影响图像质量，而且影响患者体感和安全。
  3. 强调自动控制，即不再需要人工的任何参与；但是，他们都对耦合剂的放置闭口不谈
  4. 都是用了KUKA机械手。
  5. 都强调对3D超声的使用是未来的主流，并作为研究重点。

他们之间也存在诸多不同点：


  1. 慕尼黑工大团队实现了对探头的初始声窗位置的自动定位，但是强调的是对探头的轨迹进行了规划，总体目标是通过利用3D表面信息，机器人系统的压力估计和基于图像的伺服，在闭合的控制环内执行完全自主的图像采集，以对由介入前数据定义的感兴趣区域进行成像。
  2. 而Krupa团队则采取了完全不一样的策略，首先提出的是，Krupa团队与慕尼黑团队的不同在于，Krupa团队可以将方法推广到对任何器官的控制，并且使用基于位置的视觉伺服，但是他们并没有解决对初始声窗位置的定位问题。

Krupa团队论文分析


Krupa的近期具有参考性的论文我们列举了三篇，是三篇连续的论文，两篇会议一篇期刊。很具有代表性，而且没每篇论文之间具有继承和提升。下面想给出三篇论文的名字：


  1. Optimization of ultrasound image quality via visual servoing
  2. Confidence-Driven Control of an Ultrasound Probe- Target-Specific Acoustic Window Optimization
  3. Confidence-Driven Control of an Ultrasound Probe

首先，我们总结一下Krupa团队的这三篇论文的主旨思想，Krupa的论文是基于图像置信度评估的，关于图像置信度评估的论文可以看一下我之前的一篇博客。论文通过图像置信度来实现对超声探头的在坐标轴三个方向上的移动和旋转，其只要目的是提高想的质量和保证器官切面在图像中的位置。


论文1的第一个亮点是提出了新的控制信号


首先，第一篇论文是他们使用图像置信度作为一种新的探头控制信号（在之前研究这门使用过图像矩、图像强度、甚至图像的）的开山之作，更具体地说，他们将超声置信度图视为一种新模式，以设计视觉伺服控制律以优化图像质量。提出的框架旨在改进超声成像技术，例如机器人遥测电声，目标跟踪或体积重建。


在该论文中，他们表明了探头的放置对图像内容的质量有重大影响，但是关于该主题的工作很少发表，因此正式将基于视觉伺服的超声探头控制方法的研究中心瞄准到研究探头位置与图像质量之间的关系，并设计了一种新的视觉伺服技术来引导连接到机械臂末端执行器的探头，以提高图像质量。但是还要与其他基于超声的视觉伺服方法相结合。


论文1的第二个亮点是提出了基于基坐标系的控制方法


他们考虑将凸形超声探头连接到6自由度机械臂的末端执行器。凸探头的视场可以在极坐标系下定义为Ω=[rmin，rmax]×[θmin，θmax]，其中rmin是探头半径，rmax是成像深度，[θmin，θmax]是成像扇区。如图
在这里插入图片描述


需要指出的是，在该研究中，所提出的控制方案是人机协同控制，力觉控制由机械手完成，负责Y轴方向上的运动，一个自由度。置信度控制负责探头在Z轴方向上的旋转，一个自由度。其余四个自由度有超声科医生来完成。
也就是说，Krupa团队的研究工作默认了如下情况：超声探头的初始声窗位置是医生给出的，不是自动定位的。


下面，我们再来分析一下第二篇论文


论文2的第一个亮点


提出了多任务控制策略，什么是多任务控制策略呢？第一篇论文我们可以看出，将控制任务分成了力觉控制任务、图像质量控制任务和人工控制。
在第二篇论文中，Krupa团队进一步提高了对探头控制的自动化程度，实现了完全的自动控制。但是，还有一点需要指出，他们还是没有实现对初始声窗位置的自动定位，依然是依靠医生的引导。


论文2的第二个亮点


他们将凸形超声探头连接到6自由度机械臂的末端执行器上。我们的目标是优化给定解剖目标的视觉质量。为此，我们定义了三个要共同实现的功能任务：
1）保持探头与患者之间恒定的接触力。
2）保持目标在图像中水平居中。
3）优化超声信号在目标位置的置信度。
他们使用冗余形式[17]来设计满足上述约束的控制律。
他们将控制任务分解成了如下三个方面：


  1. 力量控制：只控制沿探头Y轴的力，因此将力特征定义为力张量的Y分量。
  2. 运动补偿：实现了对器官的跟踪，探头坐标系中用（xt，yt，zt）表示目标重心的坐标。因为我们考虑了2D探头，所以目标位于图像平面中，因此zt =0。运动补偿任务在于将目标保持在图像中水平居中的位置。
  3. 图像质量优化：质量任务旨在优化目标位置的超声图像质量。为此，一种可能的方法是搜索使信号置信度最大化的扫描线。然而，最大置信度的方向将是一个不稳定的特征，可能存在时间上的不连续性。
  4. 融合控制：力控制作用于沿Y的平移，而运动补偿作用于沿X的平移和绕Z的旋转。结果，这两个部分是分离的。另一方面，置信度控制耦合到力和视觉控制。为了确保置信度控制不会干扰其他任务，我们使用冗余框架定义探头速度螺杆的分量vf，vt和vc。这些组件分别对应于力控制，运动补偿和质量优化任务。速度螺杆的力分量vf是最高优先级的任务。

论文的整体控制思想如下：


他们在图提供了由不同任务引起的约束的说明。力控制任务约束一个自由度，它允许探头沿人体表面滑动并绕其成像中心旋转。目标跟踪任务将目标的中心约束为与图像的中心扫描线对齐，从而留出最后一个自由度进行置信度控制。
在这里插入图片描述
不同控制任务引起的约束图。普通线代表身体的表面，圆形代表目标。虚线对应于探头中心可能获得期望接触力的位置。虚线示出了目标跟踪约束。


论文3的亮点


前两篇论文会议论文，第三论文是期刊论文，是对这几年他们研究成果的一次系统性的介绍。
首先该论文对声窗与图像质量之间的关系进行了系统性的分析：
超声成像的一个特点是图像内容不仅取决于探头相对于感兴趣对象的姿势，还取决于探头与患者皮肤之间的声耦合的质量（还包括耦合剂的使用）。此外，由于主要是衰减和阴影，超声波束在换能器和给定点之间行进的完整路径会影响该点的图像质量。这引出了声学窗口的概念，声学窗口可以被定义为超声换能器和目标解剖之间的区域。根据该区域中存在的声衰减器，不同的声窗口(即，换能器的不同位置和方向)可以为同一目标产生不同的成像质量水平。找到一个好的声学窗口对于获得令人满意的图像质量至关重要。虽然超声探头的力和位置控制已经得到了广泛的研究，但仍然缺乏图像质量的自适应控制。这种控制首先需要一种方法来量化超声信号的质量。
同时介绍了对图像质量进行评估的研究历史
在这篇文章中，他们提出了一个置信驱动（confidence-driven）的机器人超声探头控制框架。纯粹基于超声图像的伺服将忽略超声的物理特性，并且不能优化声学窗口。一位知识渊博且经验丰富的超声医师会意识到采集图像背后的物理原理。因此，他/她可以确保与体表的正确接触，并找到探头的最佳位置和方向，以实现最佳的超声图像质量。为了模仿这样的智能专家行为，他们使用超声置信图作为信号来设计伺服控制任务。为此，我们定义了从置信度图中提取的特定特征，并提出了对它们相对于探头运动的变化的分析。由此产生的置信驱动控制是本文的主要贡献。然后，我们使用冗余框架[17]以分层方式将置信控制任务与其他功能任务(力控制，目标跟踪)相结合。通过使用2-D和3-D探头的机器人实验，我们展示了我们的控制框架如何有效地用于优化成像质量：1) 在远程超声成像中，通过共享人类/机器人控制，或2)在感兴趣区域的自主跟踪期间。本文提出的方法建立在前两篇论文提出的初步工作的基础上。他们介绍了几个新颖的贡献。作为一个主要贡献，以前的方法介绍了用于平面内（in-plane control）控制的2-D探头，扩展到完全控制3-D探头。这使得能够完全控制探头以优化图像质量。此外，我们还提出了新的实验结果来验证所提出的方法。特别地，我们引入了目标跟踪质量的度量。此外，我们报告了在人类志愿者上进行的实验结果。这些结果表明，所提出的框架在实际情况下是适用的。


需要指出的是，Krupa的方法需要人工确定初始声窗位置，使用的控制策略时基于位置的视觉伺服，也就是说，该方法需要建立目标的三维几何模型，这是基于位置的视觉伺服的特性要求。
由于B型图像的特定几何结构，超声通常被认为是视觉模态，并且可以在控制框架中这样对待。与相机投影模型的主要区别在于，B超图像对应于环境的平面部分。在三维超声换能器的特定情况下，重建的体积对应于场景的缩放版本，因此可以直接应用基于位置的视觉伺服。让我们假设跟踪算法提供物理目标在探测坐标系中的位置t=(xt，yt，zt)，并且该目标在参考坐标系中是固定的。然后，可以写入将目标位置的变化与探头的速度螺杆v相关的相互作用矩阵


慕尼黑工业大学团队论文分析


相较于Krupa团队的研究思路，慕尼黑工业大学的研究思路似乎是完全不同的一条路线，此外，需要提出的是，慕尼黑工业大学的研究方案可以完美的解决初始声窗位置选择和定位的困难，也就是说，慕尼黑工业大学的方法可以完全摆脱人工，实现全自动化。


主要讲解两篇论文，一篇是会议论文，一篇是期刊论文：


  1. Virga S , Zettinig O , Esposito M , et al. Automatic force-compliant robotic ultrasound screening of abdominal aortic aneurysms[C]// Intelligent Robots and Systems (IROS), 2016 IEEE/RSJ International Conference on. IEEE, 2016.
  2. Hennersperger C , Fuerst B , Virga S , et al. Towards MRI-Based Autonomous Robotic US Acquisitions: A First Feasibility Study[J]. IEEE Trans Med Imaging, 2017, 36(99):538-548.

首先慕尼黑工大团队的思想是在3D MRI图像上标定出移动轨迹的起点和终点，并使用结构光相机获取患者的表面三维点云数据，然后他们将两个三维图像的表面点云数据融合，就可以将在MRI上标记的点通过结构光相机转移动实际的世界空间中。这样就可以通过标记的点控制机械手的位姿，因此，也就很自然的可以提供超声探头的初始声窗位置。


第一篇论文


机器人控制方案的总体目标是三方面的：
第一，US的采集需要遵循在患者身上预定义的轨迹。
第二，US换能器施加在组织上的力不仅要足够，而且要随时间推移而达到最佳状态，从而在整个扫描过程中实现良好的声学耦合。
第三，即使在存在肠气，阴影和其他伪影的情况下，也需要在线调整面外旋转以保持高图像质量。
需要指出的是，这篇论文由于是会议论文，可能受限于篇幅，这篇论文并没有系统性的介绍具体用什么样的方法来驱动机械手。


第二篇论文


该论文的总体目标是通过利用3D表面信息，机器人系统的压力估计和基于图像的伺服，在闭合的控制环内执行完全自主的图像采集，以对由介入前数据定义的感兴趣区域进行成像。
改论文的两点在于，或者说改论文你的最大贡献点在于实现了患者的移动补偿，然而在我看来（我搭建实验平台了），这个点真的是一个学术亮点，在实际工程上毫无意义。
我们对比一下两篇论文的空间转换可以看出两篇论文你的复杂度‘
在这里插入图片描述
上图是第一篇论文的系统图
在这里插入图片描述
上图第二篇论文的系统图


参考文献


  1. Salcudean S E , Zhu W H , Abolmaesumi P , et al. A Robot System for Medical Ultrasound[J]. 2000.
  2. Sirouspour M R , Dimaio S P , Salcudean S E , et al. Haptic interface control-design issues and experiments with a planar device[C]// IEEE International Conference on Robotics & Automation. IEEE, 2000.
  3. S. E. Salcudean, G. Bell, S. Bachmann,等. Robot-Assisted Diagnostic Ultrasound – Design and Feasibility Experiments[M]// Medical Image Computing and Computer-Assisted Intervention – MICCAI’99. Springer Berlin Heidelberg, 1999.
  4. Motion/Force/Image Control of A Diagnostic Ultrasound Robot
  5. And A S , Abolmaesumi P , Sirouspour M R , et al. Real-Time Extraction of Carotid Artery Contours from Ultrasound[C]// IEEE Symposium on Computer-based Medical Systems. IEEE Computer Society, 2000.
  6. Abolmaesumi P , Salcudean S E , Zhu W H . Visual servoing for robot-assisted diagnostic ultrasound[J]. World Congress on Medical Physics & Biomedical Engineering, 2000, 4:2532-2535 vol.4.
  7. Abolmaesumi P , Sirouspour M R , Salcudean S E , et al. Adaptive image servo controller for robot-assisted diagnostic ultrasound[C]// IEEE/ASME International Conference on Advanced Intelligent Mechatronics. IEEE, 2001.
  8. Abolmaesumi P , Salcudean S , Zhu W H , et al. Image-guided control of a robot for medical ultrasound[J]. IEEE T on Robotics & Automation, 2002, 18(1):11-23.
  9. Krupa A , Fichtinger G , Hager G D . Full motion tracking in ultrasound using image speckle information and visual servoing[C]// IEEE International Conference on Robotics & Automation. IEEE, 2007.
  10. Mebarki R , Krupa A , Collewet C . Automatic Guidance of an Ultrasound Probe by Visual Servoing Based on B-Mode Image Moments[J]. 2008.
  11. A. Krupa, F. Chaumette. Control of an ultrasound probe by adaptive visual servoing[C]// IEEE/RSJ International Conference on Intelligent Robots & Systems. IEEE, 2005.
  12. Nadeau C , Krupa A . Intensity-based direct visual servoing of an ultrasound probe[C]// IEEE International Conference on Robotics & Automation. IEEE, 2010.
  13. Intensity-Based Ultrasound Visual Servoing- Modeling and Validation With 2-D and 3-D Probes2011
  14. Mebarki R , Krupa A , François Chaumette. Modeling and 3D local estimation for in-plane and out-of-plane motion guidance by 2D ultrasound-based visual servoing[C]// 2009 IEEE International Conference on Robotics and Automation, ICRA 2009, Kobe, Japan, May 12-17, 2009. IEEE, 2009.
  15. Mebarki R , Krupa A , Chaumette F . 2-D Ultrasound Probe Complete Guidance by Visual Servoing Using Image Moments[J]. IEEE Transactions on Robotics, 2010, 26(2):296-306.
  16. Zhao Y , Xie W F , Liu S . Image-based visual servoing using improved image moments in 6-DOF robot systems[J]. International Journal of Control Automation & Systems, 2013, 11(3):586-596.
  17. Siciliano B , Slotine J J E . A general framework for managing multiple tasks in highly redundant robotic systems[C]// International Conference on Advanced Robotics. IEEE, 1991.