支持向量机（Support Vector Machine）由Cortes 和Vapnik于1995年正式发表（“Support vector networks”, Machine Learning, 20(3):273-297)，由于在二维表分类任务中显示出卓越性能，很快成为机器学习的主流技术，并在2000年掀起了统计学习的高潮。

图(a)中红色和蓝色分别代表两个不同类别的数据，显然是线性可分的，但将两类数据点分开的直线不止一条。

• 图的(b)和©分别给出B、C两种不同的划分方案，其中黑色实线为分界线称为划分超平面（又称决策面）。
• 两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为支持向量。
• 支持向量到超平面的距离称为间隔，显然，分类器B的分离超平面优于分类器C的，在SVM中认为分类器B的分类间隔比分类器C的分类间隔大。
• 每一个可能把数据集正确分开的方向都有一个最优分离超平面，而不同方向的最优决策面的分类间隔通常是不同的，具有最大间隔的决策面就是SVM的最优解，称为最优超平面。

SVM（一）：线性支持向量机

1.1 问题定义  
1.2 对偶问题   
1.3 问题求解

SVM（二）：软间隔与正则化

2.1 软间隔   
2.2 正则化

SVM（三）：非线性支持向量机

3.1 问题定义    
3.2 核函数

SVM（四）：支持向量回归

4.1 问题定义   
4.2 对偶问题

SVM（五）：SVM小结

5.1 SVM分类算法步骤
5.2 一分类SVM（1-SVM）/多分类SVM
5.3 SVM优缺点