在最小二乘问题中,目标函数通常具有如下形式
其中
- 通常是一个特定模型的参数
- 通常是模型 (参数 )在点 的预测值与实际值 的残差
Formulation
令 ,则目标函数可以表示为
目标函数的一阶导数(注意 是 维的, 关于 求导应该对 的每一个分量求导)为
二阶导数为
最小二乘的本质是利用 来近似 (舍弃的二阶项通常很小,因为残差本身就很小,且越接近极小值点残差越小),也就是说只需要利用一阶导数信息。
线性最小二乘回归
假设 ,则
其中 的每一行是
目标函数为
注意:如果 不是非常大的情况下,这一目标函数可以直接利用矩阵分解来求解。
一阶导数为
注意:这一正规方程在样本数 很大时求解更具优势,因为只需要求解一个 的方程的系统。
线搜索:高斯牛顿法
高斯牛顿法是非线性最小二乘回归的一种线搜索方法,我们知道牛顿法每次迭代需要求解线性方程
对牛顿类方法还不熟悉的可以看之前的博文
将最小二乘问题的二阶导数和一阶导数带入可得
这一方程比标准的牛顿法要简便许多,它不需要计算海森矩阵,只需要残差和一阶导数信息即可。
算法流程
- 给定初始值
- 计算步长
- 计算下一迭代点
- 检验是否收敛,否则转步骤2
高斯牛顿法的一个主要缺点是 在奇异时没有定义,因此有了下面介绍的LM方法。
信赖域:LM方法
LM方法的主要思想时使用强迫正定的策略,即
其中 使得 是个正定阵。当 时等价于高斯牛顿法,当 充分大时退化为梯度下降法。此外,LM方法属于信赖域法。
对信赖域法还不熟悉的可以看之前的博文
从信赖域的角度出发, 的局部模型为:
因为 ,求解 的最小值等价于
这里给出信赖域型的LM法的算法流程
- 给定初值,以及信赖域法的参数
- 检验终止条件(梯度 是否小于一个阈值)
- 解信赖域问题得到
- 解的接受算法
- 信赖域调整算法
评论(0)
您还未登录,请登录后发表或查看评论