《数据挖掘算法的几何思想.ppt》由会员分享，可在线阅读，更多相关《数据挖掘算法的几何思想.ppt（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据挖掘算法的几何思想 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望内容概要内容概要一数据挖掘介绍什么是数据挖掘数据挖掘的主要任务数据挖掘简单步骤二数据挖掘算法及其几何思想分类：分类树、简单贝页斯、Logistic回归、神经网络、判别分析、k-最近邻点预测：多元线性回归、神经网络数据精简：主成分分析探索性分析：聚类关联分析：关联法则三西南数据挖掘系统一数据挖掘介绍1.1 什么是数据挖掘是近来创造的名词，是是近来创造的名词，是把统计学、计算机科学把统计学、计算机科
2、学的一些思想综合运用到科学、工程和商业方面的一些思想综合运用到科学、工程和商业方面大型数据库上以发现事物内在规律的方法大型数据库上以发现事物内在规律的方法。数据挖掘是数据挖掘是建立在规模、速度、和简单化上的建立在规模、速度、和简单化上的统计学统计学；“是用统计学和计算机科学的方法为大型数据是用统计学和计算机科学的方法为大型数据建模的一种综合工具。建模的一种综合工具。”我的想法我的想法“会数据挖掘找工作时工资要高一些会数据挖掘找工作时工资要高一些”！-研究生同学的反馈信息研究生同学的反馈信息4一数据挖掘介绍1.1 什么是数据挖掘数据挖掘概念及商务应用客户关系管理金融电子商务和互联网客户关系管理
3、直销 （Target Marketing）客户流失预测/跳槽分析 （Attrition Prediction/Churn Analysis）欺诈探测 （Fraud Detection）信用评分 （Credit Scoring）金融商业问题：公司债券的定价取决于几种因素，公司的风险特征（risk profile）、债务资历（seniority of debt）、公司历史等等 解决方案：通过数据挖掘建立预测价格的更为精确的模型电子商务和互联网推荐系统把点击鼠标者变成客户1.2.1 分类分类数据挖掘的一项基本任务就是用类别已知的数据找出规则，然后把这些规则用在未进行分类的数据上。分类或许是数据挖掘应
4、用最广泛的任务。一数据挖掘介绍1.2 任务任务10一数据挖掘介绍 1.2 任务任务1.2.1 分类举例分类举例一家金融服务公司为其客户提供房屋净值信贷额度。该公司曾把该项贷款发放给了数千客户，其中的许多接收者（大约20%）有贷款欺诈行为。该公司希望使用地理信息、人口信息、和经济状况信息等变量建立一个模型预测一个申请人将来会不会欺诈。该信用评分模型给每一个贷款申请人计算还贷欺诈的概率。在此要设定一个阈值，欺诈概率超过阈值的那些申请人将建议不批准。1.2.2 预测预测预测和分类相似，差别在于我们是预测一个变量的数预测和分类相似，差别在于我们是预测一个变量的数值，而不是一个类别。值，而不是一个类别。
5、当然，在分类时我们试图去预测一个类别，而当然，在分类时我们试图去预测一个类别，而“预测预测”这个术语在数据挖掘里通常指的是预测一个连续变这个术语在数据挖掘里通常指的是预测一个连续变量的数值。量的数值。（另外，预测和估计也经常被混用）一数据挖掘介绍 1.2 任务任务1.2.3 关联分析关联分析 有有了了储储存存客客户户交交易易信信息息的的大大型型数数据据库库自自然然就就产产生生了了对对购购买买物物品品进进行行的的关关联联分分析析（哪哪种种物物品品和和哪哪种种物物品品是是搭搭配配着着买买的的）。通通过过关关联联分分析析得得到到的的“关关联联法法则则”然然后后以以多多种种方方式式被被利利用用。例例如
6、如，百百货货商商店店可可以以利利用用关关联联法法则则在在扫扫描描了了一一个个顾顾客客的的采采购购单单后后印印制制优优惠惠券券，优优惠惠卷卷上上打打折折扣扣的的商商品品是是由由通通过过分分析析大大量量顾顾客客的采购单得到的关联法则决定的。的采购单得到的关联法则决定的。一数据挖掘介绍 1.2 任务任务1.2.4 数据精简数据精简数数据据分分析析经经常常需需要要把把复复杂杂的的数数据据进进行行精精简简。分分析析人人员员不不是是处处理理成成千千上上万万种种商商品品，而而是是希希望望把把数数据据压压缩缩成成几几个个小小组组。这这种种把把大大量量的的变变量量（或或者者记记录录）合合并并而而得得到到一一个个
7、较较小小数数据据集集合合的的过过程程就就叫叫数数据据精精简。简。一数据挖掘介绍1.2 任务任务1.2.5 探索性分析探索性分析审查和检验数据以了解它包含什么信息。例如为全面了解数据需要减少数据集合的大小或者维数以便让我们看见森林而不是只看见树木。相似的变量（即提供类似信息的变量）可以合并到一个变量。类似地，聚类分析可把所有记录划分到由相似记录构成的几个组里。一数据挖掘介绍 1.2 任务任务1.2.6 数据显示数据显示了解数据包含信息的另一个技术是图形分析。例如，两个变量之间的散布图可以让我们迅速地看到变量之间的关系。一数据挖掘介绍 1.2 任务任务数据挖掘任务以及工具分类：k最近邻点，简单贝叶
8、斯（Nave Bayes），分类树，判别分析，Logistic回归，神经网络，支持向量机预测：回归，神经网络，时间序列关联法则：关联分析数据精简：主成分分析、相关分析、粗糙集探索性分析聚类分析17一数据挖掘介绍1.3 数据挖掘步骤数据挖掘步骤 把数据划分为 训练数据和验证数据两个部分只用训练数据训练模型得到结果，看一下结果是否令人满意检查在验证数据上的结果是否也令人满意研究在验证数据上的各种输出结果尝试几种备择模型选择和部署最佳模型二数据挖掘算法思想和应用2.1.1 决策树几何思想：把预测变量空间划分为多个多维空间的“长方形”，每一个“长方形”对应一个类别。1819二数据挖掘算法思想和应用2.
9、1.1 决策树20二数据挖掘算法思想和应用2.1.1 决策树Iris花21例如：输入变量有X1,X2,Xk,输出变量y有个类别y1,y2,y3.假定所有的输入变量和输出变量都是随机变量。假定在每一个输出类别上输入变量相互独立。针对每一个观测记录，计算给定输入变量值时输出变量等于每一个类别的条件概率。在某一个类别上的条件概率最大，该观测记录就划为某一类。对每一个观测记录计算：P(Y=y1|X1=x1,X2=x2,Xk=xk)P(Y=y2|X1=x1,X2=x2,Xk=xk)P(Y=y3|X1=x1,X2=x2,Xk=xk)22二数据挖掘算法思想和应用2.1.2 简单贝叶斯分类思想23二数据挖掘算
10、法思想和应用2.1.2 简单贝叶斯输出变量只有个类别，即：和对每一个观测记录的输入变量，计算其输出变量等于的概率。该概率是输入变量某线性组合的单调函数。当该概率大于某个值时划分到一个类；否则划分到另一个类。24二数据挖掘算法思想和应用2.1.3 Logistic回归25二数据挖掘算法思想和应用2.1.3 Logistic回归Logistic 回归模型拟和的贝叶斯判别fisher判别函数分类思想：在输入变量空间中找一条直线，使得几个输出类别在这条直线上的投影尽可能地分开。26二数据挖掘算法思想和应用2.1.4 判别分析27二数据挖掘算法思想和应用2.1.4 判别分析假定K=3对数据集合中的每一个
11、点，检查它在预测变量空间中最邻近的个点，如果这个邻居中的大多数都属于某一个类别，那么该点就属于此类别。这是“民主投票方式”的分类法28二数据挖掘算法思想和应用2.1.5 k最近邻点29二数据挖掘算法思想和应用2.1.5 k最近邻点人类的大脑估计有一百亿个神经元，每一个神经元平均和其它10,000个神经元相连接。神经元通过神经突触接收信号，神经突触控制着信号的反应。这些神经突触的网络连接被认为在大脑活动中起着关键作用。人工神经网络的灵感来源于科学家对大脑行为研究的生理发现。30二数据挖掘算法思想和应用2.1.6 神经网络31二数据挖掘算法思想和应用2.1.6 神经网络32二数据挖掘算法思想和应用
12、2.1.6 神经网络思想：找到一条直线（或者多维空间的超平面）思想：找到一条直线（或者多维空间的超平面），使得数据集合的点到该直线的竖直距离平方和，使得数据集合的点到该直线的竖直距离平方和最小最小二数据挖掘算法思想和应用2.2.1 多元线性回归思想：在保证数据信息丢失不多的情况下，把高维空间的数据投影到低维空间。目的是除掉变量之间包含信息的冗余、并降低数据的维数。34二数据挖掘算法思想和应用2.3.1 主成分分析35二数据挖掘算法思想和应用2.3.1 主成分分析聚类分析的目的是根据对象几种属性的测量值组成相似对象的几个集合。关键的思想是把数据以一种有利于进行分析的方式归类。36二数据挖掘算法思想和应用2.3.2 聚类分析37XYk1k3二数据挖掘算法思想和应用2.3.2 聚类分析38二数据挖掘算法思想和应用2.3.2 聚类分析Y关联分析研究的是“什么跟什么在一起”。例如，一家书店的经理可能很关心客户买书的习惯以便卖出更多的书。这些方法又称为购物篮分析(Market basketanalysis)，因为他们起源于确定购买活动关系的客户交易数据库研究。39二数据挖掘算法思想和应用2.3.3 关联分析40 谢谢观赏！谢谢观赏！李保坤李保坤西南财经大学统计学院副教授西南财经大学统计学院副教授美国新墨西哥州立大学博士美国新墨西哥州立大学博士