3. 非线性SVM
3.1 问题定义
现实任务中,训练样本经常不是线性可分的,即原始样本空间中并不存在一个能正确划分两类样本的超平面。

对于这样的问题,基于Mercer核展开定理,通过内积函数定义的非线性变换,将样本从原始空间映射到一个高维特征空间(Hibbert空间),使得样本在这个高维特征空间内线性可分(升维线性化)。

令ϕ(x)表示将x映射后的特征向量,在特征空间中划分超平面对应的模型可表示为

3.2 核函数
假设ϕ是一个从低维的输入空间χ(欧式空间的子集或者离散集合)到高维的希尔伯特空间H的映射。如果存在函数K(,) 对于任意

核函数使得计算在低维特征空间中进行,避免了高维特征空间中的巨大计算量,同时还利用了高维空间线性可分的特性。
凡是满足Mercer定理的函数都可以作为支持向量机的核函数。
一般所说核函数为正定核函数(正定核比Mercer更具一般性),一个函数为正定核函数的充分必要条件是如下:

常用核函数如下

径向基函数核(RBF,Radial basis Function)又称高斯核。