18cm三轮摄像头图像处理

 
  • 前言
  • 比赛规则
  • 设备简述
  • 一、扫线方式(八领域)
    • 1.寻找赛道
      • 1)种子寻找
      • 2)八领域寻线
      • 3)在边界中提取边线[^1]
      • 4)计算中值
    • 2.赛道信息提取
      • 1)边界生长方向信息
      • 2)拐点的寻找
        • ①直角型拐点
        • ②圆弧形拐点
      • 3)边界的方差(或绝对值)计算
      • 4)边界的斜率
 
  • 二、赛道元素判断及处理
    • 1.十字元素
      • 正入十字
        • 1)判断条件
        • 2)拉线处理
      • 斜入十字(举一种情况)
        • 1)判断条件
        • 2)拉线处理
    • 2.环岛元素
      • 1)判断条件
      • 2)拉线处理
    • 3.车库元素
      • 入车库
        • 1)判断条件
        • 2)拉线处理
      • 出车库
        • 1)判断条件
        • 2)拉线处理(以右出库为例)
    • 4.坡道元素
      • 1)判断条件
      • 2)状态判断
      • 3)拉线处理
    • 5.会车
      • 1)判断条件
      • 2)拉线处理
    • 6.弯道
      • 1)小弯道
      • 2)大弯道
    • 7.长直道
 
  • 三、反光判断
 
  • 四、结语

 

前言

  或许是有幸,参加了第十五届智能车竞赛,在这一年里,经历了很多,少有满意,认识了很多人,感谢相识。 比赛将要结束,我也将离智能车越来越远。但毕竟也曾热爱、付出过,希望能把我的一些经验写下来,至少留下一个痕迹,也能给一些准备比赛或像参加比赛的选手提供一些帮助。  

比赛规则

  第十五届全国大学生智能汽车竞赛竞速赛规则   可能由于疫情原因,比赛不仅提前了,而且准备时间还相比之前减少了很多,因此第十五届智能车竞速赛的赛道元素相比去年删去了一些,而仅仅新加了一个车库元素。因此,在图像方面,负担减轻了很多。  

设备简述

  F车 130°普通无畸变摄像头 摄像头镜面中心高度18.5cm 前瞻2.5-3m  

一、扫线方式(八领域)

  感谢聪聪在八领域方面的帮助@zcc 八领域实现原理在网上可以很容易找到,不再赘述。 主要讲一讲我是如何使用八领域的。  

1.寻找赛道

 

1)种子寻找

  在这里插入图片描述   定一个底行初始位置,从中间分别向两边寻找边线的种子  

2)八领域寻线

  在这里插入图片描述   利用八领域,由种子生长出整条边界  

3)在边界中提取边线1

  通过遍历八领域得到的连续边界,提取出用于计算中值的边线。   在这里插入图片描述   图中,左边蓝线与右边绿线为每行的边线,下图为分离图   在这里插入图片描述  

4)计算中值

  在这里插入图片描述  

2.赛道信息提取

 

1)边界生长方向信息

  八领域的各个方向   可以把领域的生长方向记录下来,作为边界的特征之一  

2)拐点的寻找

 

①直角型拐点

  直角型拐点的特征较为明显,边界在直角的顶点会急剧转向接近90°的另一个方向,常出现在十字中。 拿十字举例   二值图:   在这里插入图片描述   边界:   在这里插入图片描述   可以通过边界生长方向的变化来寻找   在这里插入图片描述   或者通过斜率的突变来寻找   在这里插入图片描述  

②圆弧形拐点

  因为赛道弯曲形成的拐点,回拐的程度较小,常出现在弯道或环岛中。   拿小弯举例   二值图:   在这里插入图片描述   边界:   在这里插入图片描述   拐点:   在这里插入图片描述   拐点出现在边界像素点横坐标的局部极大值或极小值处。  

3)边界的方差(或绝对值)计算

  ①最小二乘法 这里使用最简单的拟合一次函数曲线的最小二乘法,网上很多教程与实例,不再赘述。   ②用最小二乘法拟合出的直线计算与边界像素点的方差(或绝对值)   在这里插入图片描述   如图所示,可以直观看出像素点偏移直线程度。  

4)边界的斜率

  由最小二乘法得到的一次函数得到边界的总体斜率  

二、赛道元素判断及处理

 

1.十字元素

 

正入十字

 

1)判断条件

  二值图:   在这里插入图片描述   边界图:   在这里插入图片描述   ①找到左前拐点 ②左边线向左横向生长像素点较多 ③找到右前拐点 ④右边线向右横向生长像素点较多  

2)拉线处理

  ①十字前 分别将左右前后两个拐点相连   在这里插入图片描述   ②十字中 找到两个后拐点,利用最小二乘法前拉边线   在这里插入图片描述  

斜入十字(举一种情况)

 

1)判断条件

  二值图: 在这里插入图片描述   边界图:   在这里插入图片描述   ①找到右前拐点 ②右前边界向右横向生长的点数较多 ③找到右后拐点 ④找到左后拐点  

2)拉线处理

  ①将右边两个拐点相连 ②利用最小二乘法前拉左后拐点高行的直线   在这里插入图片描述  

2.环岛元素

 

1)判断条件

  以左环岛为例   二值图:   在这里插入图片描述   边界:   在这里插入图片描述   ①左拐点 ②左前边线横向生长的点较多 ③右边界从底行到高行为直线,方差很小 判断条件较为简单,如果不放心,可以再提取左上圆环特征  

2)拉线处理

  整个环岛处理为一个状态机,大致拉线如下: ①左前直角型拐点与左后圆弧形拐点相连   在这里插入图片描述   ②左后圆弧形拐点拉线   在这里插入图片描述   ③入环拐点拉到右边低行   在这里插入图片描述   ④环内正常边线   在这里插入图片描述   ⑤开始出环先拉右线   在这里插入图片描述   ⑥左后拐点与左前边线起始处相连   在这里插入图片描述   ⑦二乘法将左后拐点拟线前拉   在这里插入图片描述  

3.车库元素

 

入车库

 

1)判断条件

  二值图:   在这里插入图片描述   边界图:   在这里插入图片描述   ①找到左前拐点 ②右边界为直线,方差较小 ③扫到斑马线 ④横向生长的点数较多(或左前拐点后的边界斜率很小很小)  

2)拉线处理

  ①将左后拐点拉到左前拐点纵坐标位置的右边线   在这里插入图片描述   ②将左后边线的起始位置拉到右下角   在这里插入图片描述   ③当左后拐点小于一定行数,利用最小二乘法将左后拐点的线拟合到右下角   在这里插入图片描述   ④进入车库,正常扫线   在这里插入图片描述   在这里插入图片描述  

出车库

 

1)判断条件

  无需判断,手动预设  

2)拉线处理(以右出库为例)

  ①在库内,拉直线   在这里插入图片描述   ②左前拐点小于某行或丢失,开始拉线   在这里插入图片描述   ③避开斑马线进行扫线,直接拉到左下角   在这里插入图片描述   ④出库基本完成,正常扫线   在这里插入图片描述  

4.坡道元素

  二值图:   在这里插入图片描述   边线图:   在这里插入图片描述  

1)判断条件

    在这里插入图片描述 ①高行行间距变小 ②高行与低行都是直线,方差很小  

2)状态判断

  ①上坡前,边线延伸至顶行,行间距较大   在这里插入图片描述   ②上坡时,边线顶端只能够到达中间行   在这里插入图片描述   ③下坡时,边线又延伸至顶端,高行行间距变小   在这里插入图片描述   ④下到坡底,行间距变宽   在这里插入图片描述   ⑤坡道结束,回到正常赛道   在这里插入图片描述    

3)拉线处理

  ①在坡顶时,只处理低行中线,减少因坡顶的视野太远导致的误扫边界的影响   在这里插入图片描述   ②其他时候正常扫线  

5.会车

 

1)判断条件

  二值图:   在这里插入图片描述   边界图:   在这里插入图片描述   在道路中间由下往上找种子,找到后车车模并扫线   在这里插入图片描述   ①找到车的四个拐点   在这里插入图片描述   ②拐点前后边界的生长特征   在这里插入图片描述   ③两个前拐点之间的距离符合正常后车长度   在这里插入图片描述  

2)拉线处理

  ①将两个拐点中间的像素点作为后车中点   在这里插入图片描述   ②将中点与最低行中点拉线   在这里插入图片描述  

6.弯道

 

1)小弯道

    ①多处圆弧型拐点 ②边界存在一定的方差 ③边界的斜率一定范围内   在这里插入图片描述    

2)大弯道

  ①一处圆弧拐点 ②边线方差较大 ③边界的斜率超出一定范围   在这里插入图片描述    

7.长直道

  ①不存在圆弧拐点 ②边线方差很小 ③边界的斜率稳定在很小范围之内   在这里插入图片描述    

三、反光判断

  利用生长方向的异常来判断是否反光 二值图:   在这里插入图片描述   边界:   在这里插入图片描述   可以看到左边界尽头突然急剧折返,可以认为异常,判断为反光,停止扫线,减少一些误判或增强图像在反光时的鲁棒性。  

四、结语

  智能车让我学到了很多  


  1. 边界为八领域生长出的连续像素点,边线为每行一个的离散像素点 ↩︎