本次博客还是继续之前的约束优化问题,介绍求解线性规划的另一种方法——内点法(叫做内点法的原因是优化命题解的迭代过程是从约束域内部出发,沿着中心路径逐步走到边界),包含障碍函数法和原始对偶法。PS:实际应用时考虑求解效率和精度问题,通常首选的是原始对偶法。 参考自: S. Boyd, L. Vandenberghe, Convex Optimization 2. CMU 10-72
本篇博客还是继续约束优化,介绍约束优化中的一种特殊情况——线性规划,根据一个实例来展示单纯形法(Simplex method)的流程。文中例子来源 https://people.richland.edu/james/ictcm/2006/simplex.htmlpeople.richland.edu/james/ictcm/2006/simplex.html 给大家总结几句单纯形法的要点
之前谈的都是无约束优化问题,这次转入约束优化方法。首先介绍一下什么是约束优化 其中, 是目标函数, 是等式约束的index, 是不等式约束的index。 可行集:所有满足约束的点组成的集合 有效集:激活集为可行集中满足等式约束的点 约束优化问题的求解比无约束优化要困难得多,这篇博客主要介绍一些特殊形式的约束优化以及非线性约束优化问题的常见解法。 参数变换化简约束
在最小二乘问题中,目标函数通常具有如下形式 其中 通常是一个特定模型的参数 通常是模型 (参数 )在点 的预测值与实际值 的残差 Formulation 令 ,则目标函数可以表示为 目标函数的一阶导数(注意 是 维的, 关于 求导应该对 的每一个分量求导)为 二阶导数为 最小二乘的本质是利用 来近似 (舍弃的二阶项通常很小
牛顿法的基本思想是用迭代点的梯度信息和二阶导数对目标函数进行二次函数逼近,然后把二次函数的极小值作为新的迭代点,并不断重复这一过程,直到求出极小点。 假设函数 的二阶导数 连续,函数 在 处的二阶泰勒展开为 其中 ,求函数的驻点那就是求导并令导数为零,即 如果二阶导数非奇异,可以得到下一个迭代点为(上式求出来的 就是 ) 如果二阶导数奇异,那么可以求解下面线性方程确定搜索方向
信赖域子问题与 Fidelity 信赖域法的思想很好理解:就是利用一个好解的局部模型 来近似当前迭代点附近 (附近就是一个区域 ) 的函数情况 。 信赖域子问题的定义:假设 且 为目标函数,在区域 内目标函数的近似函数为 ,则置信域子问题的目的是寻找 也就是说信赖域子问题求的是近似函数在信赖域内取最小时对应的自变量取值 。通常近似函数可以用二次函数来表示(注意这是关于 的函数
共轭梯度法是求解稀疏对称正定线性方程组的最流行和最著名的迭代技术之一。 二次函数与最优解 考虑最小化二次函数 其中 且假设矩阵 是对称正定的(SPD)。该函数的最小值 可以根据一阶最优条件得到,即导数为零 或 这也意味着最小化 等价于求解线性方程 。由于二次函数的Hessian矩阵是半正定的,该解具有唯一性。 线搜法 线搜索方法是一类迭代优化方法,其中迭代由下式给出 它的思想是
机器学习与优化 引用大佬Pedro Domingos的说法:机器学习其实就是由模型的表示,优化和模型评估三部分组成。将一个实际问题转化为待求解的模型,利用优化算法求解模型,利用验证或测试数据评估模型,循环这三个步骤直到得到满意的模型。 因此,优化算法在机器学习中起着一个承上启下的作用! 一般机器学习中涉及的优化命题可以表示为: 比如: 最小二乘回归 岭回归 LASSO: 支
在上一篇文章中手把手推导了一遍卡尔曼增益,不熟悉的小伙伴可以看 养生的控制人:卡尔曼增益推导170 赞同 · 21 评论文章 这里再回顾一下重点。 问题重述 假设真实系统为 其中 。 我们对系统状态的估计(数据融合)为 其中卡曼尔增益为 我们可以看到卡尔曼增益中的估计协方差矩阵 还是未知的,因此我们需要把它表示出来。 估计协方差矩阵推导 根据定义 带入真实系统模型和状态估计的模型
上篇博文简要介绍了卡尔曼滤波器的思想,这篇博文详细推导一下卡尔曼滤波器,确保大家能够看懂所有细节,看完后记得自己推一遍加深印象! 养生的控制人:卡尔曼滤波器(估计器)155 赞同 · 11 评论文章 状态空间方程 假设一个确定性离散时间系统可以用如下状态空间方程描述: 下标代表采样时刻,即 时刻的状态由 时刻的状态和输入决定。 然而真实系统往往没有那么美好,Uncertainty is
定义 核函数(或者叫协方差函数)是一个有两个输入 的正定函数。 高斯过程模型利用核函数来定义任意两个函数值之间的先验协方差 简单来说,核函数是用来表明两个变量(函数值)之间的相关性的,核函数也确定了在高斯过程先验下函数的潜在结构(the generalization properties of the model)。 一些基础的核函数 一些常见的核函数有平方指数(SE)、周期(Per)、线性
之所以在标题后面加上估计器,我觉得这样更加平易近人,很多人可能听到滤波器不知道它用来干嘛的,但是估计器顾名思义就是用来估计东西的。卡尔曼估计器其实就是用来估计一些未知的变量,并且它是一种最优的递归算法。 什么是递归算法 举个简单的例子,比如你在用尺子测量硬币的直径,由于尺子自身有误差以及还有你测量时也有误差,导致每次测量的结果会不太一样,假设每次的测量结果为 ,那么对硬币直径的估计可以表示为多
高斯过程将有限维高斯分布推广到了无限维,它是关于函数的分布。 Bayesian probabilistic approaches have many virtues, including their ability to incorporate prior knowledge and their ability to link related sources of information. 高斯
优化基础 Overview 一般优化问题可以描述为 其中, 为已知待优化的目标函数, 为等式约束, 为不等式约束。这里只考虑最小化问题(求目标函数的最小值),最大化问题等价于最小化负目标函数。 优化命题可以按照不同准则进行分类,比如: 约束和无约束:如果 ,则这是一个无约束问题; 线性和非线性规划:如果 和 都是 的线性函数则该优化问题为线性规划问题,否则为非线性规划问题。
积分
粉丝
勋章
TA还没有专栏噢
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信