第七章 支持向量机
第七章 支持向量机​
摘要：支持向量机（SVM）是一种二类分类模型，其基本模型是间隔最大的线性分类器，间隔最大使它有别于感知机，支持向量机也可通过核技巧使它成为非线性分类器。支持向量机的学习策略是间隔最大化，可将其转化为一个求解凸二次规划的问题，其学习算法就为求解凸二次规划的最优化算法序列最小最优化算法（SMO）。​
关键词：二类分类；间隔最大化；核技巧；凸二次规划；序列最小最优化算法​
​
7.1 线性可分支持向量机——硬间隔最大化​
线性可分支持向量机的学习目标是找到一个分离超平面将实例分为正负两类（与感知机相同），但是当数据集线性可分时，感知机的分离超平面有无穷多个。此时，线性可分支持向量机通过间隔最大化求解一个最优分离超平面。​
在数据线性可分下，线性可分支持向量机学习到的分离超平面为​
以及相应的决策函数为​
在下图中，“o”代表正例，“x”代表负例，数据线性可分，这时有许多直线将两类数据正确划分，而线性可分支持向量机就需要去找到将两类数据正确分类并且间隔最大的直线。​
7.1.1 函数间隔与几何间隔​
在上图7.1中，点A距分离超平面较远，若预测该点为正类,就比较确信预测是正确的；点C距分离超平面较近，若预测该点为正类就不那么确信;点B介于点A与C之间，预测其为正类的确信度也在A与C之间。​
一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面w.x +b= 0确定的情况下，|w●x + b|能够相对地表示点x距离超平面的远近。而w●x+b的符号与类标记y的符号是否一致能够表示分类是否正确。所以可用量y(w.x+ b)来表示分类的正确性及确信度，这就是函数间隔。​
下面给出函数间隔定义：​
因此我们可以找到函数间隔的最小值，定义为：​
由于选择超平面时只有函数间隔还不能够选出间隔最大超平面，因此对法向量​
​规范化，使得​
​,让函数间隔确定，这时确定的函数间隔就变成为几何间隔。​
​