[TOC]目录

一、单目相机模型

二、双目相机模型

三、RGB-D相机

四、非线性优化 (很火,但我不会)

一、单目相机模型

照片记 录了真实世界在成像平面上的投影,这个过程丢弃了“距离”维度上的信息,普通相机可以用针孔模型很好地近似。为了建立观测方程需对相机进行建模,因此首先了解一下小孔成像模型。首先了解一下成像的大致原理:

  1. 光聚焦在CCD或CMOS上
  2. CCD或CMOS完成光/电转换
  3. A/D将模拟信号转换成数字信号
  4. 最后由DSP将数字信号转换为数码图像

  • 原始形式: [公式]
  • 翻转到前面: [公式]
  • 整理: [公式]

成像平面到像素坐标:

对于物理成像平面到像素坐标的转换,这个跟相机感光元件相关,物理坐标系中的1m对于像素平面有多少个像素点,因此转换过程中就会有个比例因子 [公式] 。另外在物理成像平面中心是在图像中心的,但是实际上一般图像坐标系的原点一般是在角上,因此,需要有个平移。

[公式]  [公式] 带入:

得到: [公式]

对于这样一种形式,将其转换为矩阵形式:

[公式]

传统习惯:

[公式]

左侧是齐次坐标,中间矩阵成为内参数,右侧是非齐次矩阵,内参通常在相机生产之后就已经固定。

除内参外,相机坐标系和世界坐标系还差一个变换:

[公式]

先把P从世界坐标变到相机坐标系下,这里R,t或T成为外参,外参是SLAM估计的目标。

畸变

小孔成像模型是一个比较简单的模型,但是实际上针孔前会加上镜头用于聚光,但随之带来的事畸变,畸变又分为很多种,因此畸变之后就不符合小孔成像模型了。主要的畸变类型:径向畸变和切向畸变。

  • 畸变的数学模型
    • 畸变可以用归一化的变换来描述:
      • 径向畸变
        • [公式]
      • 切向畸变:
        • [公式]

放在一起:

[公式]

二、双目相机模型

双目相机模型左右相机中心距离成为基线,基线越大测的东西就越远,反之,越小。左右像素的几何关系:

[公式]

整理得: [公式]

d:成为视差(disparity),描述同一个点在左右目上成像的距离,d最小为1个像素,因此双目能测量的z有最大值:fb,虽然距离公式简单,但d不容易计算。具体d的计算,后续再说吧!

三、RGB-D相机

物理手段测量深度,通过ToF或者结构光两种主要原理,通常能够得到与RGB图对应的深度图。

  • 结构光:用投影仪投射特定的光信息到物体表面后及背景后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。结构光三维成像的硬件主要由相机和投射器组成,结构光就是通过投射器投射到被测物体表面的主动结构信息,如激光条纹、格雷码、正弦条纹等;然后,通过单个或多个相机拍摄被测表面即得结构光图像;最后,基于三角测量原理经过图像三维解析计算从而实现三维重建。
结构光是一组由投影仪和摄像头组成的系统结构。

ToF:飞行时间原理。TOF是Time of flight的简写,飞行时间技术在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量),从而进一步理解离子或媒介某些性质的技术。

飞行时间原理

四、非线性优化 Non-linear Optimization

状态估计问题: [公式]

  • 最简单的情况:线性系统,高斯噪声
  • 复杂情况:非线性系统,非高斯噪声

历史上很长一段时间都是使用滤波器求解状态估计,但今年来非线性优化已成为主流。从概率角度看待此问题:

  • 状态变量:(所有待求解的量) [公式]
  • 状态估计等同与求解条件概率分布: [公式]
  • 贝叶斯法则: [公式]

[公式] 条件分布很难求解,但可以求:

  • a) 最大后验估计:(Maximize a Posterior, MAP)

[公式]

  • b) 最大似然估计(Maximize Likelihood Estimation, MLE)

[公式]

后面根本看不懂!就先到这吧!

其实,就是为了应付一个作业,太难了!!!

20201217,1:07

继续加油~!