支持向量机(Support Vector Machine)由Cortes 和Vapnik于1995年正式发表(“Support vector networks”, Machine Learning, 20(3):273-297),由于在二维表分类任务中显示出卓越性能,很快成为机器学习的主流技术,并在2000年掀起了统计学习的高潮。图(a)中红色和蓝色分别代表两个不同类别的数据,显然是线性可分的,
最大熵模型 1. 最大熵原理 2. 最大熵模型定义 3. 最大熵模型 4. 最大熵模型学习 (1)转化为无约束优化问题 (2)求解内部极小化问题 (3)求解外部极大化问题 4. 最大熵模型与逻辑回归 总结 1. 最大熵原理 最大熵(Maximum Entropy)原理是概率模型学习的一个准则,认为在所有可能的概率模型(分布)中,熵最大的模型就是最好的模型,在1957年由
1. 线性支持向量机 1.1 问题定义 (1) 划分超平面 (2) 点到超平面的距离 (3)支持向量、间隔 (4)最优超平面 1.2 对偶问题 1.3 问题求解 1.1 问题定义 (1) 划分超平面 二维样本空间中,划分平面可以表示为:w1x1+w2x2+b=0w_1x_1+w_2x_2+b=0w1x1+w2x2+b=0 在高维样本空间中,划分超平面定义如下:wT
贝叶斯分类器 1. 贝叶斯定理 1.1 贝叶斯公式 1.2 全概率公式 1.3 贝叶斯公式推广 2. 频率学派 v.s. 贝叶斯学派 2.1 频率学派 2.2 贝叶斯学派 3. 极大似然估计 v.s. 贝叶斯估计 3.1 极大似然估计 3.2 贝叶斯估计 最大后验估计 3.3 举例 (1)极大似然估计 (2)贝叶斯估计 共轭先验 最大后验概率估计 4.
神经网络 1. 定义 2. 多层前馈神经网络 3. 激活函数 常用激活函数 4. 反向传播算法 1. 定义 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真是世界物体做出的交互反应。[Kohoene.T(1988).“An introduction to neural computing” Neural Netwo
1. 贝叶斯定理1763年12月23日,Thomas Bayes的遗产受赠者R. Price牧师 在英国皇家学会宣读了贝叶斯的遗作《An essay towards solving a problem in the doctrine of chances》(《论机会学说中一个问题的求解》),其中给出了贝叶斯定理。在这篇文章之前,人们已经能够计算“正向概率”,如12个白球和3个黑球在1个箱子中,随机
4. 支持向量回归4.1 问题定义支持向量回归(SVR,Support Vector Regression)假设能够容忍f(x)与y之间最多ϵ的偏差,即仅当f(x)与y之间的差别绝对值大于ϵ时才计算损失。这相当于以为中心,构建了一个宽带2ϵ的间隔带,若训练样本落入此间隔带,则被认为预测正确。SVR优化目标如下:4.2 对偶问题其中,优化目标代回至此时,优化函数仅有α∧,α∨做为参数,可采用SMO(
2 软间隔与正则化2.1 软间隔硬间隔(hard margin)要求所有样本均满足约束:软间隔(soft margin)允许某些样本不满足约束,即允许支持向量机在一些样本上出错。在最大化间隔同时,不满足约束的样本应尽可能少,优化目标如下:其中C>0是一个常数,为惩罚参数。当C为无穷大时,会迫使所有样本满足约束。采用hinger loss,则引入松弛变量(slack variables)这仍是
3. 非线性SVM3.1 问题定义现实任务中,训练样本经常不是线性可分的,即原始样本空间中并不存在一个能正确划分两类样本的超平面。对于这样的问题,基于Mercer核展开定理,通过内积函数定义的非线性变换,将样本从原始空间映射到一个高维特征空间(Hibbert空间),使得样本在这个高维特征空间内线性可分(升维线性化)。令ϕ(x)表示将x映射后的特征向量,在特征空间中划分超平面对应的模型可表示为3.2
5. SVM小结 5.1 SVM分类算法步骤 5.2 一分类SVM(1-SVM)/多分类SVM 5.2.1 1-SVM 5.2.2 多分类SVM (1)一对多法 (2) 一对一法 5.3 SVM优缺点 (1)优点 (2)缺点 5.1 SVM分类算法步骤 输入:m个样本(x 1 ,y 1 ),(x 2 ,y 2
目录 1. 线性回归 1.1 最小二乘法(Normal Equation) 1.1.1 代数法求解 1.1.2 矩阵法求解 1.2 梯度下降法 2 多项式回归 1. 线性回归 线性回归:使用形如 y=wTx+b 的线性模型拟合数据输入和输出之间的映射关系。
Kaggle实战入门:泰坦尼克号生还预测 1. 加载数据 2. 特征工程 3. 模型训练 4. 模型部署 泰坦尼克号(Titanic),又称铁达尼号,是当时世界上体积最庞大、内部设施最豪华的客运轮船,有“永不沉没”的美誉,被称为“世界工业史上的奇迹”。1912年4月10日,她在从英国南安普敦出发,驶往美国纽约的首次处女航行中,不幸与一座冰山相撞,1912年4月15日凌晨2
逻辑回归 1 逻辑回归 2. 交叉熵损失函数 2.1 交叉熵 2.2 相对熵 2.3 交叉熵损失函数 1 逻辑回归 逻辑回归/对数几率回归(Logistic/Logit Regression)实际是一种分类学习方法,用于因变量是二分类(0/1,True/False,Yes/No)的情况。 这种方法直接对分类可能性进行建模,无需实现假设
Kaggle实战入门:泰坦尼克号生还预测 1. 加载数据 2. 特征工程 3. 模型训练 4. 模型部署 Kaggle实战入门:泰坦尼克号生还预测(基础版)对机器学习的全流程进行了总体介绍。本文继续以泰坦尼克号生还预测为例,对机器学习中的特征工程、模型构建进行深入解读。 数据集及代码下载 1. 加载数据 由于针对训练数据集、测试数据集均要做空值填充、编码转换、离
机器学习pipeline 1. 定义问题 2. 获取数据 3. 数据处理 4. 模型训练、评估与调优 5. 模型部署 一个典型的机器学习包括以下几个过程: 1. 定义问题 理解实际场景是机器学习的第一步,需要将业务问题抽象为机器学习能处理的数学问题,包括明确可以获得哪些数据、什么样的数据、数据是怎样的格式,原始数据需要做怎样的处理,机器学习的目标是一个分类、回归
数据特征 1. 特征类型 2. 特征的相关性度量 2.1 χ 2 检验 2.2 Pearson 系数 2.3 协方差 2.4 相关与相互独立 数据对象(样本)由属性/特征描述,属性(attribute)、特征(feature)、变量(variable)、维(dimension)一般可以互换使用。 1. 特征类型 数据属性的类型由该属性/特征可能
机器学习简介 1. 应用 2. 历史 3. 定义 4. 算法分类 1. 应用 2. 历史 1952年,IBM的亚瑟·塞缪尔(Arthur Samuel)开发了一个西洋棋的程序,该程序能够通过棋子的位置学习一个隐式模型,为下一步棋提供比较好的走法。 塞缪尔与这个程序对局了很多次,并观察到这个程序在经过一段时间的学习后可以发挥得更好。 塞缪尔用这个程序驳倒了机器
决策树 1. 决策树简介 2 熵 信息熵 (1)定义 (2)举例 3. 构建决策树 4. 划分准则 4.1 信息增益(Information Gain) 4.2 增益率(Gain Ratio) 4.3 基尼指数(Gini index) 算法比较 1. 决策树简介 决策树算法从有类标号的训练元组中,根据数据属性采用树状
训练集与测试集 1. 过拟合与欠拟合 2. 训练集与测试集划分 2.1 保持(Holdout)方法 2.2 交叉验证 (cross-validation) 1. 过拟合与欠拟合 欠拟合(underfitting):模型未能拟合训练数据,高偏差(high bias)。 过拟合(overfitting) :模型未能拟合测试数据,高方差(high var
积分
粉丝
勋章
TA还没有专栏噢
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信