《斯坦福大学机器学习课程个人笔记.docx》由会员分享，可在线阅读，更多相关《斯坦福大学机器学习课程个人笔记.docx（153页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、CS 229机器学习(个人笔记)目录(1)线性回归、logistic回归和一般回归1(2)判别模型、生成模型与朴素贝叶斯方法10支持向量机SVM (上)20(4)支持向量机SVM (下)32(5)规则化和模型选择45(6)K-means聚类算法50(7)混合高斯模型和EM算法53(8)EM 算法 55在线学习62(10)主成分分析65(11)独立成分分析80(12)线性判别分析91(13)因子分析103(14)增强学习H4(15)典型关联分析120(16)偏最小二乘法回归129这里面的内容是我在2011年上半年学习斯坦福大学机器学习 课程的个人学习笔记，内容主要来自Andrew Ng教授的讲义
2、和学 习视频。另外也包含来自其他论文和其他学校讲义的一些内容。每章内容主 要按照个人学习时的思路总结得到。由于是个人笔记，里面表述错误、公式错误、理解错误、笔误都会 存在。更重要的是我是初学者，千万不要认为里面的思路都正确。 如果有疑问的地方，请第一时间参考Andrew Ng教授的讲义原文 和视频，再有疑问的地方可以找一些大牛问问。博客上很多网友提出的问题，我难以回答，因为我水平确实有限， 更深层次的内容最好找相关大牛咨询和相关论文研读。如果有网友想在我这个版本基础上再添加自己的笔记，可以发送 Email给我，我提供原始的word docx版本。另，本人目前在科苑软件所读研，马上三年了，方向是
3、分布式计 算，主要偏大数据分布式处理，平时主要玩Hadoop、Pig、Hive Mahout、NoSQL 啥的，关注系统方面和数据库方面的会议。希望大家多多交流，以后会往 博客上放这些内容，机器学习会放的少了。Anyway,祝大家学习进步、事业成功!对回归方法的认识JerryLead2011年2月27日1摘要本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前 四节主要讲述了回归问题，属于有监督学习中的一种方法。该方法的核心思想是从离散的 统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以 是多维的。讲义最初介绍了一个基本问题，然后引出了线性回
4、归的解决方法，然后针对误差问题 做了概率解释。2问题引入假设有一个房屋销售的数据如下：面积(m9)销售价钱(万元)12325015032087160102220这个表类似于北京5环左右的房屋价钱，我们可以做出一个图，x轴是房屋的面积。y轴是 房屋的售价，如下：如果来了一个新的面积，假设在销售价钱的记录中没有的，我们怎么办呢？我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以 在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子：绿色的点就是我们想要预测的点。首先给出一些概念和常用的符号。房屋销售记录表：训练集(training set)或者训练数据(tr
5、aining data),是我们流程中的输入数据，一 股称为x房屋销售价钱：输出数据，一般称为y拟合的函数(或者称为假设或者模型)：一般写做y = h(x)训练数据的条目数(draining set),： 一条训练数据是由一对输入数据和输出数据组成的输入数据的维度n (特征的个数，#features)这个例子的特征是两维的，结果是一维的。然而回归方法能够解决特征多维，结果是一维 多离散值或一维连续值的问题。3学习过程下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过 程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为 构建一个模型。就
6、如同上面的线性回归函数。输入数据机学习方法I新盘书| 一|估计)数F 货信计I4线性回归线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征 对结果的影响强弱可以有前面的参数体现，而且每个特征变量可以首先映射到一个函数，然 后再参与线性计算。这样就可以表达特征与结果之间的非线性关系.我们用XI , X2.Xn去描述feature里面的分量，比如xl=房间的面积，x2=房间的朝向，等等, 我们可以做出一个估计函数：hx-每(x) = 00 +可为6在这J曲为参数，在这的意思是调整feature中每个分量的影响力，就是到底是房屋的面积更重 要还是房屋的地段更重要。为了如果我
7、们令X0 = 1 ,就可以用向量的方式来表示了 ：= 8, X我们程序也需要一个机制去评估我们e是否比较好，所以说需要对我们做出的h函数进行评 估，一般这个函数称为损失函数(loss function )或者错误函数(error function),描述h函数 不好的程度，在下面，我们称这个函数为J函数在这儿我们可以做出下面的一个错误函数：1 m/(6)=彳2(丹)-严)2minX0这个错误估计函数是去对Mi)的估计值与真实值y(i)差的平方和作为错误估计函数，前面乘 上的1/2是为了在求导的时候，这个系数就不见了。至于为何选择平方和作为错误估计函数，讲义后面从概率分布的角度讲解了该公式的来源
8、。如何调整0以使得J取得最小值有很多方法，其中有最小二乘法（min square）,是一种完 全是数学描述的方法，和梯度下降法.5梯度下降法在选定线性回归模型后,只需要确定参数9 ,就可以将模型用来预测。然而。需要在 J最小的情况下才能确定。因此问题归结为求极小值问题，使用梯度下降法.梯度下降法 最大的问题是求得有可能是全局极小值，这与初始点的选取有关。梯度下降法是按下面的流程进行的：1）首先对e赋值，这个值可以是随机的，也可以让e是一个全零的向量。2）改变e的值，使得J（O）按梯度下降的方向进行减少。梯度方向由J（e）对0的偏导数确定，由于求的是极小值，因此梯度方向是偏导数的反方向。 结果为
9、Oj := Oj + a （y-hg（工（”）工，迭代更新的方式有两种，一种是批梯度下降，也就是对全部的训练数据求得误差后再对0 进行更新，另外一种是增量梯度下降，每扫描一步都要对9进行更新。前一种方法能够不 断收敛，后一种方法结果可能不断在收敛处徘徊。一般来说，梯度下降法收敛速度还是比较慢的。另一种直接计算结果的方法是最小二乘法。6最小二乘法将训练特征表示为X矩阵，结果表示成y向量，仍然是线性回归模型，误差函数不变。那 么e可以直接由下面公式得出0 = (XTX)-lXTy.但此方法要求x是列满秩的，而且求矩阵的逆比较慢。7选用误差函数为平方和的概率解释假设根据特征的预测结果与实际结果有误差
10、加），那么预测结果和真实结果y（i）满足下式:一般来讲，误差满足平均值为0的高斯分布，也就是正态分布。那么x和y的条件概率也就是exp（严一尹工）2这样就估计了一条样本的结果概率，然而我们期待的是模型能够在全部样本上预测最准，也就是概率积最大。这个概率积成为最大似然估计。我们希望在最大似然估计得到最大值时确定9o那么需要对最大似然估计公式求导，求导结果既是t=l这就解释了为何误差函数要使用平方和。当然推导过程中也做了一些假定，但这个假定符合客观规律。8带权重的线性回归上面提到的线性回归的误差函数里系统都是1,没有权重。带权重的线性回归加入了权重信息。基本假设是1. Fit 0 to minim
11、ize仅 i产.2. Output 尹jt.其中假设W。）符合公 式其中X是要预测的特征，这样假设的道理是离X越近的样本权重越大，越远的影响越小。这个公式与高斯分布类似，但不一样，因为W。）不是随机变量。此方法成为非参数学习算法，因为误差函数随着预测值的不同而不同，这样0无法事先确定，预 测一次需要临时计算，感觉类似KNN。9分类和对数回归一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大.如果 非要应用进入，可以使用对数回归。对数回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先 把特征线性求和，然后使用函数g（z）将最为假设函数来预测。g（z）可
12、以将连续值映射到0和 1上。又擞回归的假设函数如下，线性回归假设函数只是er。d（力=（尹）=1,1 + e 工,、 10（二） l+e-z对数回归用来分类0/1问题，也就是预测结果属于o或者1的二值分类问题。这里假 设了二值满足伯努利分布，也就是P（y = 1 | ；。）=he（x）P（y = 0 | x; 0） = 1 hox当然假设它满足泊松分布、指数分布等等也可以，只是比较复杂，后面会提到线性回 归的一般形式。与第7节一样，仍然求的是最大似然估计，然后求导，得到迭代公式结果为0j := % + a- ha（工）工，可以看到与线性回归类似,只是换成了招（），而九八近）实际上就是。7%。）
13、经过g（Z）映射过来的。10牛顿法来解最大似然估计第7和第9节使用的解最大似然估计的方法都是求导迭代的方法，这里介绍了牛顿下 降法，使结果能够快速的收敛。当要求解f（e）= o时，如果f可导，那么可以通过迭代公式一黑.-来迭代求解最小值。当应用于求解最大似然估计的最大值时，变成求解2（。） = 0的问题.那么迭代公式写作伊），当e是向量时，牛顿法可以使用下面式子表示0:=0- 7屋（6）._必nii其中是nxn的Hessian矩阵。牛顿法收敛速度虽然很快，但求Hessian矩阵的逆的时候比较耗费时间。当初始点X0靠近极小值X时，牛顿法的收敛速度是最快的。但是当X0远离极小值时, 牛顿法可能不收
14、敛，甚至连下降都保证不了。原因是迭代点Xk+1不一定是目标函数f在牛 顿方向上的极小点。11 音殳线性模型之所以宓寸数回归时使用qz=“1 4- ez的公式是由一套理论作支持的。这个理论便是一般线性模型。首先，如果一个概率分布可以表示成P； )= b exp(/7 T(y) - a()时，那么这个概率分布可以称作是指数分布。伯努利分布，高斯分布，泊松分布，贝塔分布，狄特里特分布都属于指数分布.在对数回归时采用的是伯努利分布，伯努利分布的概率可以表示成P；。)=燃1 -树exp(y log。+ (1 - y) log(l - )=exp (logg + log(l .其中n = bg(。/(i
15、-。)得到=1 + en这就解释了对数回归时为了要用这个函数。一般线性模型的要点是1) ylx； e满足一个以“为参数的指数分布，那么可以求得n的表达式。2)给定x ,我们的目标是要确定T(y),大多数情况下T(y) = y ,那么我们实际上要确 定的是h(x),而h(x) = Efy|x,(在对数回归中期望值是小，因此h是e ;在线性 回归中期望值是日，而高斯分布中n = M ,因此线性回归中h=”xl3) n = f)Tx12 Softmax 回归最后举了一个利用一般线性模型的例子。假设预测值v有k种可能，即y曰L2，,k比如k=3时，可以看作是要将一封未知邮件 分为垃圾邮件、个人邮件还是
16、工作邮件这三类。定义6 = p（y = ；。）那么= 1这样p（y = k；，） = 1一 凄；机即式子左边可以有其他的概率表示，因此可以当做是k-i维的问题。T（y）这时候一组k-1维的向量,不再是y。即T（y）要给出y=i （ i从1到k-1）的概率应用于一般线性模型pSM =碎7曲7姆1)=姐。姆E林-工富“E= 姆加0/(加太匕5汕=cxp(T(t/)i log(Ol) + - log(02)+ (1-普(川)。1。虱姐)=exp(T(t/)i log(0i/以)+ (T(y)2 log(曲/以)+ (T(j/)fc_l log(0i/0k) + log(娟)=b(y)exp(rjlT
17、(y)-a(T1)那么*)log(d2/0fc)T=.,log(0l/，k).a()= - bg3QWy) = l最后求得y=i时py =，|工;6)仇e3Tx求得期望值he(x) = ET(y)|x;0=1)= 匕ly = k-1M02Ok-1exp(0.T)%cx；.(3)exp(。彳6_ 2内叼呵工)?p(皈巴.，=15(耳工)_那么就建立了假设函数，最后就获得了最大似然估计=logp(y)l”;&)1=1m k /押工=EnLr对该公式可以使用i=l 1=1 2-,j=l e 1/梯度下降或者牛顿法迭代求解。解决了多值模型建立与预测问题。学习总结该讲义组织结构清晰，思路独特，讲原因，也
18、讲推导。可贵的是讲出了问题的基本解决 思路和扩展思路，更重要的是讲出了为什么要使用相关方法以及问题根源。在看似具体 的解题思路中能引出更为抽象的一般解题思路，理论化水平很高。该方法可以用在对数据多维分析和多值预测上，更适用于数据背后蕴含某种概率模型 的情景。判别模型、生成模型与朴素贝叶斯方法JerryLead2011年3月5日星期六1判别模型与生成模型上篇报告中提到的回归模型是判别模型，也就是根据特征值来求结果的概率。形式化表 示为p(y|x；0),在参数。确定的情况下，求解条件概率pOx)0通俗的解释为在给定特征 后预测结果出现的概率.比如说要确定一只羊是山羊还是绵羊，用判别模型的方法是先从
19、历史数据中学习到模 型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。换一种思 路，我们可以根据山羊的特征首先学习出一个山羊模型，然后根据绵羊的特征学习出一个绵 羊模型。然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概 率是多少，哪个大就是哪个.形式化表示为求p (x |y)(也包括p (y), y是模型结果，x是特征。利用贝叶斯公式发现两个模型的统一性：p(Ny)p(y)p(工)由于我们关注的是y的离散值结果中哪个概率大(比如山羊概率和绵羊概率哪个大), 而并不是关心具体的概率，因此上式改写为：arg maxp(y|z)arg maxyp(y)p(
20、y)p(工)argm产 p(z|y)p).其中P(X |y)称为后验概率，P (y)称为先验概率。由p (x |y) * p (y ) = p (x, y ),因此有时称判别模型求的是条件概率，生成模型求的是 联合概率。常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、boosting,条件 随机场、神经网络等。常见的生产模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、 RestrictedBoltzmann Machine 等。这篇博客较为详细地介绍了两个模型：2 高斯判别分析(Gaussian discriminant analysis )1)多值正态分布多变量正态
21、分布描述的是n维随机变量的分布情况，这里的p变成了向量，。也变成 了矩阵工写作N , E)。假设有n个随机变量X 1, X2，Xna 口的第i个分量是E(X,), 而 却=Var(X,),词=Cov(X；,%；).概率密度函数如下：其中圜(2介/2因1/2 CXP (一近-丁(工-)是E的行列式，工是协方差矩阵，而且是对称半正定的。当H是二维的时候可以如下图表示：其中H决定中心位置决定投影椭圆的朝向和大小。如下图：10。10.50 1 0.51The figures above show Gaussians with mean 0, and with covarianc matrices re
22、spectively1 0.8 0.81,对应的E都不同。2）模型分析与应用如果输入特征x是连续型随机变量，那么可以使用高斯判别分析模型来确定p(x|y)o模型如下：y 2 Bernoulli (0) xy = 0 (o, E) 11y =1 z A17/Z1, E)输出结果服从伯努利分布，在给定模型下特征符合多值高斯分布。通俗地讲，在 山羊模型下，它的胡须长度，角大小，毛长度等连续型变量符合高斯分布，他们 组成的特征向量符合多值高斯分布。这样，可以给出概率密度函数：P（y） =P（工以=）=西金# （工p（Hy = i）= 时磊rxp （小一 j出）最大似 然估计如下：（0,o，i,E）=
23、log IJ P（工,严;以,）f=lm=1。811以1）1严；0.1,）（，”；0）.i=l注意这里的参数有两个n,表示在不同的结果模型下，特征均值不同，但我们假设 协方差相同。反映在图上就是不同模型中心位置不同，但形状相同。这样就可以用 直线来进行分隔判别。0 =0 = =E =求导后，得到参数估计公式:5毕严=D乙1* =。随1/=15 （工-*）（/）-冉）71=1中是训练样本中结果y=l占有的比例.M是y=o的样本中特征均值。 m是y=i的样本中特征均值。 E是样本特征方差均值。如前面所述,在图上表示为：直线两边的y值不同，但协方差矩阵相同，因此形状相同。M不同，因此位置不同。3 )
24、高斯判别分析(GDA )与logistic回归的关系将 GDA用条件概率方式来表述的话，如下：p =Xy是X的函数，其中都是参数。进一步推导出MynlWOA,。,】)仃焉二两,这里的。是的函数。这个形式就是logistic回归的形式。也就是说如果p(x|y)符合多元高斯分布，那么p(y|x)符合logistic回归模型。反之, 不成立。为什么反过来不成立呢？因为GDA有着更强的假设条件和约束。如果认定训练数据满足多元高斯分布，那么GDA能够在训练集上是最好的模型。 然而，我们往往事先不知道训练数据满足什么样的分布，不能做很强的假设。 Logistic回归的条件假设要弱于GDA ,因此更多的时候
25、采用logistic回归的方法。例如，训练数据满足泊松分布，”=0 Poisson (Ao)W = 1 Poisson (%),那么p(y X)也是logistic回归的。这个时候 如果采用GDA ,那么效果会比较差，因为训练数据特征的分布不是多元高斯分布， 而是泊松分布。这也是logistic回归用的更多的原因。3朴素贝叶斯模型在GDA中，我们要求特征向量x是连续实数向量。如果x是离散值的话，可以考虑采 用朴素贝叶斯的分类方法。假如要分类垃圾邮件和正常邮件。分类邮件是文本分类的一种应用。假设采用最简单的特征描述方法，首先找一部英语词典，将里面的单词全部列出来。然 后将每封邮件表示成一个向量，
26、向量中每一维都是字典中的一个词的0/1值，1表示该词在 邮件中出现，0表示未出现。比如一封邮件中出现了 a和buy,没有出现aardvark、 aardwolf”和 zygmurgy”,那么可以形式化表示为：0010aaardvark aardwolfbuyzygmurgy假设字典中总共有5000个词，那么x是5000维的。这时候如果要建立多项式分布模型多项式分布(multinomial distribution )某随机实验如果有k个可能结局Al , A2 , . , Ak ,它们的概率分布分别是Pl , P2 , . , Pk,那么在N次采样的总结果中，A1出现nl次，A2出现n2次， 的
27、出现概率P相卜面公式：(Xi代表出现ni次)-,Ak出现nk次的这种事件,屋J产尸(X1 = -，Xk = Tk)= 21 Pkwhen 3 ii = notherwise.对应到上面的问题上来，把每封邮件当做一次随机试验，那么结果的可能性有25。种。意 味着pi有25。个，参数太多，不可能用来建模。换种思路，我们要求的是p(y|x)，根据生成模型定义我们可以求p(x|y)和p(y)0假设x中 的特征是条件独立的。这个称作朴素贝叶斯假设。如果一封邮件是垃圾邮件(y=l),且这封 邮件出现词“buy”与这封邮件是否出现price无关，那么buy和price”之间是条件 独立的。形式化表示为,(如
28、果给定Z的情况下，X和丫条件独立)：P(X|Z) = P(X|Y,Z)也可以表示为：P(X,Y|Z) = P(X|Z)P(Y|Z)回到问题中p3，. 250000 = pCn W)p(g|y，x)p(工 3,1 i,办)p(ooooy,工1, ，工制)=P(皿 MP(12)P(13)P(N5000o|y) n=Ijp(四 )这个与NLP中的n元语法模型有点类似，这里相当于unigram.这里我们发现朴素贝叶斯假设是约束性很强的假设，buy”从通常上讲与price是 有关系，我们这里假设的是条件独立。(注意条件独立和独立是不一样的)建立形式化的模 型表示：0tiy=i = p(阳=i|y = 1
29、)0iiy=o = p = 01y = 1)% = p(y = 1)那么我们想要的是模型在训练数据上概率积能够最大，即最大似然估计如下：m(。1/,厢=0,厢=1) = 口以工,严).i=l注意这里是联合概率分布积最大，说明朴素贝叶斯是生成模型。求解得：= 1 八/=16g 2严=1* -蠹1/=0一，随1严=1弧=最后一个式子是表示y=i的样本数占全部样本数的比例，前两个表示在y=i或0的样 本中，特征Xj=l的比例.然而我们要求的是p（xy = i）p（!/ = i）py = if） = = （II-ilv = 1） = i）（FT i川川y =）p（y = 1） +（ntiP（ri4 =
30、 o）p（y =。）立阡 是求出分子即可，分母对y=i和y=o都一样。当然，朴素贝叶斯方法可以扩展到x和y都有多个离散值的情况。对于特征是连续值的 情况，我们也可以采用分段的方法来将连续值转化为离散值。具体怎么转化能够最优， 我们可以采用信息增益的度量方法来确定（参见Mitchell的机器学习决策树那一 章I比如房子大小可以如下划分成离散值：Living area （sq. feet） 1600I 23454拉普拉斯平滑朴素贝叶斯方法有个致命的缺点就是对数据稀疏问题过于敏感。比如前面提到的邮件分类，现在新来了一封邮件，邮件标题是NIPS call for papers 0我们使用更大的网络词典
31、（词的数目由5000变为35000 ）来分类，假设NIPS这个词在字典 中的位置是35000.然而NIPS这个词没有在训练数据中出现过，这封邮件第一次出现了 NIPS.那我们算概率的时候如下：的5000gi= 1 八 严 =C35000|j/=0 =严=1 工000 = 1 八 * = 0 314=。由于NIPS在以前的不管是垃圾邮件还是正常邮件都没出现过，那么结果只能是0 了。显然最终的条件概率也是0.p(y = i|)=n3 P(工加=i)p(u = 1) H3p(词v = i)p(g = D + FIM pMy = o)p(y = o) o o,原因就是我们的特征概率条件独立，使用的是相
32、乘的方式来得到结果。为了解决这个问题，我们打算给未出现特征值，赋予一个小的值而不是0。具体平滑方法如下：假设离散型随机变量z有1,2，,k个值，我们用0, = p(z = i)来表示每个值的概率。假设有m个训练样本中，z的观察值是 J 二其中每一个观察值对应k个值中的个。那么根据原来的估计方法可以得到机=-m说白了就是Z=j出现的比例.拉普拉斯平滑法将每个k值出现次数事先都加1,通俗讲就是假设他们都出现过一次。那么修改后的表达式为：小 _飓1卜(=， + 1如一E-每个z刁的分子都加1 ,分母加k。可见0这个有点像NLP里面的加一平滑法，当然还有n多平滑法了，这里不再详述.回到邮件分类的问题，
33、修改后的公式为：6ju=i0j|y=O圈i率=1八严= i + i乙1* = 1+2 二 1 = 1A严=0 + 1乙1/)= 0 + 25文本分类的事件模型回想一下我们刚刚使用的用于文本分类的朴素贝叶斯模型，这个模型称作多值伯努利 事件模型(multi-variate Bernoulli event model工在这个模型中,我们首先随机选定了邮件 的类型(垃圾或者普通邮件，也就是p(y),然后一个人翻阅词典，从第一个词到最后一个 词，随机决定一个词是否要在邮件中出现，出现标示为1 ,否则标示为0.然后将出现的词 组成一封邮件。决定一个词是否出现依照概率p(xi|y)。那么这封邮件的概率可以
34、标示为 p(y)niP(g|y”让我们换一个思路，这次我们不先从词典入手，而是选择从邮件入手。让i表示邮件 中的第i个词，xi表示这个词在字典中的位置，那么xi取值范围为1,2,.|V| , |V|是字典中 词的数目。这样一封邮件可以表示成(工12, Tn) , n可以变化，因为每封邮件的词的 个数不同。然后我们对于每个xi随机从|V|个值中取一个，这样就形成了一封邮件.这相当 于重复投掷IV|面的骰子，将观察值记录下来就形成了一封邮件。当然每个面的概率服从 p(x“y),而且每次试验条件独立。这样我们得到的邮件概率是p(y)II：=iP(W)。居然 跟上面的一样，那么不同点在哪呢？注意第一个
35、的n是字典中的全部的词，下面这个n是 邮件中的词个数.上面xi表示一个词是否出现，只有0和1两个值，两者概率和为1,下 面的xi表示|V|中的一个值，|V|个p(xi|y)相加和为1.是多值二项分布模型。上面的x向 量都是0/1值，下面的x的向量都是字典中的位置。形式化表示为：m个训练样本表示为：(工/)；=1巾. Z (0 (i)(i)工=(1 1 ,12 xnt )丁 表示第i个样本中，共有ni个词，每个词在字典中的编号为勺.那么我们仍然按照朴素贝叶斯的方法求得最大似然估计概率为m。可仇y=l )- 山即州1=1严 / ni=n( 11夕(工,尿厢=。，加=|)卜(/例)I)解得，如!/=
36、1 =隗21斓=1严=1 随iy二1小帆 y=O =3210八/=031* = 0小弧=m与以前的式子相比，分母多了个ni ,分子由0/1变成了 k.举个例子：XIX2X3Y12-121-013203331假如邮件中只有a , b , c这三词，他们在词典的位置分别是1,2,3 ,前两封邮件都只有 2个词，后两封有3个词。Y=1是垃圾邮件。那么，1+01132g13gi=g2+0 221 l|y=0 = 21y=0 = g，31y=0 = g1 1ey=i = 2，e y=o = 2假如新来一封邮件为b ,(:那么特征表示为2,3。那么n, a P(x,y = i) p(x = 2,3|y =
37、 l)p(y = 1)P(y = 1|X)= F5- = P(x = 2.3) 21y=1 31y=1 y=l 2|y=仲 31y=1 中 y=l + 6 21y=0 中 31y=0 6 y=00.2 0.6 0.5=0.60.2 * 0.6 * 0.5 + 0.4 * 0.2 * 0.5那么该邮件是垃圾邮件概率是0.6。注意这个公式与朴素贝叶斯的不同在于这里针对整体样本求的中心=1 ,而朴素贝叶斯 里面针对每个特征求的中 xj=l|y =1 I 而且这里的特征值维度是参差不齐的。这里如果假如拉普拉斯平滑，得到公式为：O ,那么hg (x) 0.5 , g(z)只不过 是用来映射，真实的类别决
38、定权还在。还有当 0时，he(x)=l ,反之九x)=0。 如果我们只从出发，希望模型达到的目标无非就是让训练数据中y=l的特征 0 , 而是y=0的特征0 Tx 0. Logistic回归就是要学习得到。，使得正例的特征远大于0 ,负例 的特征远小于0 ,强调在全部训练实例上达到这个目标。图形化表示如下：XA,中间那条线是。7X =0 , logistic回顾强调所有点尽可能地远离中间那条线。学习出的结果 也就中间那条线。考虑上面3个点A、B和C。从图中我们可以确定A是x类别的，然而C我们是不太确定的，B还算能够确定。这样我们可以得出结论，我们更应该关心靠近中间 分割线的点，让他们尽可能地远
39、离中间线，而不是在所有点上达到最优。因为那样的话， 要使得一部分点靠近中间线来换取另外一部分点更加远离中间线。我想这就是支持向量机 的思路和logistic回归的不同点，一个考虑局部(不关心已经确定远离的点)，一个考虑全局(已经远离的点可能通过调整中间线使其能够更加远离这是我的个人直观理解。3形式化表示我们这次使用的结果标签是y=-l,y=l ,替换在logistic回归中使用的y=0和y=l。同时将0替换成w和b.以前的。TX = 00+ 01X 1+ 02X2H1- 0nX n ,其中认为Xo = 1.现在我们替换为 b ,后面替换 91X 1 + 02% 2 + +为 W1X 1 + W
40、2X 2 + + WnX n (即WX 1这样，我们让。Tx =wTx + b ,进一步也(x) = g (0Tx) = g(wTx + b).也就是说除了 y由y=0 变为y=-l ,只是标记不同外，与logistic回归的形式化表示没区别。再明确下假设函数hwj (x) = g(wTx + b)上一节提到过我们只需考虑的正负问题,而不用关心g（z）,因此我们这里将g（z）做 一个简化，将其简单映射到y=-i和y=i上。映射关系如下：1, z0 g（z）= -1, z 04 函数间隔（functional margin ）和几何间隔（geometric margin ）给定一个训练样本（X
41、0 ,加）的值实际上就是 |WG（，）+ b I。反之亦然。为了使函数间隔最大（更大的信心确定该例是正例还是反例）， 当y（i）= 1时，w7xa）+ b应该是个大正数，反之是个大负数。因此函数间隔代表了我们 认为特征是正例还是反例的确信度。继续考虑w和b ,如果同时加大W和b ,比如在（wTx（i）+ b）前面乘个系数比如2 ,那 么所有点的函数间隔都会增大二倍，这个对求解问题来说不应该有影响，因为我们要求解的 是w Tx + b = 0 ,同时扩大W和b对结果是无影响的。这样，我们为了限制W和b ,可能需 要加入归一化条件，毕竟求解的目标是确定唯个W和b ,而不是多组线性相关的向量。 这个归一化一会再考虑。刚刚我们定义的函数间隔是针对某一个样本的，现在我们定义全局样本上的函数间隔7 = min 针）.说白了就是在训练样本上分类正例和负例确信度最小那个函数间隔。接下来定义几何间隔，先看图假设我们有了 B点所在的w +b =0分割面。任何其他一点，比如A到该