《Coursera台大机器学习基础课程学习笔记.doc》由会员分享，可在线阅读，更多相关《Coursera台大机器学习基础课程学习笔记.doc（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Coursera台大机器学习基础课程学习笔记1 - 机器学习定义及PLA算法最近在跟台大的这个课程，觉得不错，想把学习笔记发出来跟大家分享下，有错误希望大家指正。一机器学习是什么？感觉和Tom M. Mitchell的定义几乎一致，A computer program is said to learn fromexperienceE with respect to some class of tasks T and performance measureP, if its performance at tasks in T, as measured by P, improves with ex
2、perience E.简而言之，就是我们想要机器在某些方面有提高（如搜索排名的质量，即NDCG提高），就给机器一些数据（用户的点击数据等各种）然后让机器获得某些经验（Learning to rank的一种模型，也就是数学公式）。这里有点需要强调，那就是提高指标，必须要有某种指标可以量化这种提高，这点还是很关键的，工业界做机器学习，首先关注data，其次就是有无成型的measurement，可以使Precision/Recall，也可以是NDCG等。二什么时候可以用机器学习？其实就三要素：1. 有规律可以学习；2. 编程很难做到；3. 有能够学习到规律的数据；编程很难做到可以有多种，大部分原因是
3、系统太复杂，很难用Rule-based的东西去解决，例如搜索排名，现在影响排名的因素有超多几百种，不可能去想出这些因素的规则，因此，这时候用机器学习就是恰到好处。特别是移动互联网的今天，用户更容易接触互联网，产生的数据越来越多，那么要找到某些不容易实现的规律，用机器学习就是很好的了，这也是为啥机器学习这么火，其实我学机器学习不仅仅是一种投资（肯定它未来的发展前途），我想做的事情还有一点，就是通过它更深刻的理解人脑的学习过程，提高自己的学习效率和思维能力。三具体如何用机器学习？输入是两个：1 data；2假设集合。Data如何使用？通过提取出feature vector来使用，也就是那个trai
4、ning examples，假设集合是用来选取最终f的。也就是说，输出就是f（或近似f）。四第一个机器学习算法：PLA（Perceptron Learning Algorithm）课程讲述这个算法的总体思路如下（典型的提出问题，分析问题以及解决问题）:1. 通过信用卡问题引入PLA；2. 对问题用数学抽象，并得到目标函数；3. 详细解释PLA迭代（学习）过程；4. 证明PLA学习的过程可以收敛并会得到最优解；5. 分析PLA优缺点，并提出克服缺点的一些方法；这个算法本质上是线性分类器，针对给定的feature vector给出Yes或者No的回答下面是用这个算法去解决信用卡问题的数学抽象：这里
5、的思想在于朴素的把从用户信息抽出来的一些feature（年龄等）量化并组成vector，然后乘以一个权重向量，并设定一个阈值，大于这个阈值就表示好，小于表示不好，很明显这个式子的未知变量有两个（实际只有一个）：1. 权重向量wi, 1=i=d;2. 阈值，下面设为0做一点小小的变形使得式子更加紧凑，还有就是从这个模型可以知道，regression model也可以解决classification问题，转化的思想。下面是这个算法的核心，定义了学习目标之后，如何学习？这里的学习是，如何得到最终的直线去区分data？这个算法的精髓之处在于如何做到做错能改，其循环是不断遍历feature vector
6、，找到错误的点（Yn和当前Wt*Xn不符合），然后校正Wt，那么为什么要这样校正？因为这样可以保证Wt越来越靠近perfect直线Wf（ps.暂时没想到正向思维是如何得到这个式子的）课程像大多数课本一样，用逆向思维给予介绍，就是在给定这样能够做的情况下去证明，即证明为什么这样做可以不断接近目标，以及最终一定会停止？下面道出了PLA终止的条件：这个是比较容易想到的，如果不能用直线去区分data（线性不可分），肯定是解决不了的，所以必须要满足线性可分，其实问题的关键在于如何方便的知道某些数据是否线性可分？这个在课程中目前没有涉及，一种简单的解决方法是画出来，直观的去看，这个我觉得不是好方法。这两页
7、PPT比较复杂，其实就是在利用条件证明，下面重新组织下给出思路，因为Latex用中文不太爽，就用英文了：五PLA的优缺点为了应对Noisy，我们不可能得到完美的直线，那么怎么衡量当前得到的直线能够满足要求呢？凭直觉，我们知道如果当前直线犯错越少越好（对所有data），于是有了下面的改进算法，Pocket PLA，本质上就是在改错的时候多做一步-判断当前改正犯的错是否比之前更小，也就是贪心选择上了一周台大的这个课程感觉老师还是很负责任，特别是循循善诱的教学方式真正是站在学生的角度考虑问题，更重要的是，我很欣赏课程的脉络，其由几个关键问题引出整套课程，这和如何阅读一本书里面带着问题阅读很像，其实学习也是如此，这点必须赞一下，也做个小广告，目前大家都在推荐Ng教授的课程，我觉得这个课程也值得推荐。