《物流信息系统之决策支持与商业智能概述76853.pptx》由会员分享，可在线阅读，更多相关《物流信息系统之决策支持与商业智能概述76853.pptx（112页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、物流信息系统物流信息系统第第5-6讲讲 决策支持与商业智决策支持与商业智能能高宝俊 博士 副教授武汉大学经济与管理学院March 232本讲的主要内容本讲的主要内容决策与决策支持系统决策与决策支持系统DSS的结构与工作原理的结构与工作原理多维数据模型多维数据模型数据仓库数据仓库OLAP、EIS与数据可视化与数据可视化数据挖掘数据挖掘商业智能商业智能3决策决策决策决策决策就是评价和选择，是一个提出问题，分析问题和解决策就是评价和选择，是一个提出问题，分析问题和解决问题的过程决问题的过程管理就是决策管理就是决策西蒙西蒙经济学、管理学等学科所研究的课题，实际上都是经济学、管理学等学科所研究的课题，实
2、际上都是“人人的决策过程和问题求解过程的决策过程和问题求解过程”。要想真正理解组织内的。要想真正理解组织内的决策过程，就必须深刻了解人的思维过程。决策过程，就必须深刻了解人的思维过程。“从某种意义上来说，一切决策都是折中的问题。最终从某种意义上来说，一切决策都是折中的问题。最终选择的方案，只不过是在当时的情况下可以选择的最佳选择的方案，只不过是在当时的情况下可以选择的最佳行动方案而已，不可能尽善尽美地实现各种目标行动方案而已，不可能尽善尽美地实现各种目标”4决策的过程决策的过程5决策模型决策模型决策模型决策模型用以描述决策者如何做决策的工具用以描述决策者如何做决策的工具决策模型的作用是将原始信
3、息经定性分析和定量处决策模型的作用是将原始信息经定性分析和定量处理，转化成直接与决策有关的信息，决策者掌握了理，转化成直接与决策有关的信息，决策者掌握了这些信息之后，就明确了决策问题的状态和决策目这些信息之后，就明确了决策问题的状态和决策目标，以便采取满意的决策标，以便采取满意的决策辅助决策辅助决策6决策问题的分类（决策问题的分类（1）三种决策问题三种决策问题根据问题的结构程度，分成结构化问题、半结构化问根据问题的结构程度，分成结构化问题、半结构化问题和非结构化问题题和非结构化问题结构化程度：对某一问题在不同环境下的发展规律与结构化程度：对某一问题在不同环境下的发展规律与结果，能否用明确的语言
4、（数学的或逻辑学的、形式结果，能否用明确的语言（数学的或逻辑学的、形式的或非形式的，定量的或推理的）给予清晰的说明或的或非形式的，定量的或推理的）给予清晰的说明或描述描述结构化问题是指常规的、重复的问题，对于这些问题结构化问题是指常规的、重复的问题，对于这些问题有着标准的解决方法。有着标准的解决方法。非结构化的问题是指模糊的、复杂的问题，没有一刀非结构化的问题是指模糊的、复杂的问题，没有一刀切的、标准的答案。切的、标准的答案。7决策问题的分类（决策问题的分类（2）结构化决策结构化决策采用专门的方法处理确定的信息，所以总能得到准确采用专门的方法处理确定的信息，所以总能得到准确的答案，没有必要靠的
5、答案，没有必要靠“感觉感觉”或或“直觉。直觉。这是一类可编程的决策。也就是说如果你输人确定的这是一类可编程的决策。也就是说如果你输人确定的信急并用精确的方法处理这些输人信息，就能得到准信急并用精确的方法处理这些输人信息，就能得到准确的结果。确的结果。如，产品成本核算，固定资产折旧，零件订货如，产品成本核算，固定资产折旧，零件订货在一个结构化的问题里，情报、设计和选择都是结构在一个结构化的问题里，情报、设计和选择都是结构性的，获得最佳答案的过程是清楚的。性的，获得最佳答案的过程是清楚的。IT/IS可获得满意的解决可获得满意的解决8决策问题的分类（决策问题的分类（2）非结构化决策非结构化决策可能存
6、在若干正确的解决方案，但没有一种精确的方可能存在若干正确的解决方案，但没有一种精确的方法计算出最优方案，也没有一组规则或标准能保证得法计算出最优方案，也没有一组规则或标准能保证得到最佳的解决方案。到最佳的解决方案。只能凭直觉和经验作出判断，只能凭直觉和经验作出判断，IT/IS本身并不能解决，本身并不能解决，其作用是提供信息给决策者。其作用是提供信息给决策者。如杂志封面选取如杂志封面选取半结构问题半结构问题介于上述二者之间介于上述二者之间9决策问题的分类（决策问题的分类（2）半结构决策半结构决策介于上述二者之间介于上述二者之间对于半结构化的问题，其部分阶段是结构性的对于半结构化的问题，其部分阶段
7、是结构性的需要将标准化解决程序与个人判断相结合。需要将标准化解决程序与个人判断相结合。IT/IS与人与人相结合来解决。相结合来解决。10各层次决策的比较各层次决策的比较11三类决策问题的解决手段三类决策问题的解决手段Decision FrequencyHighLowDecision StructureHighLowRoutine,programmable decisionNon-routine decisionDecision AutomationDecision Support SystemsSpecial studies12决策支持系统决策支持系统1970s,Scott Morton“管理
8、决策系统管理决策系统”一种一种“交互式的计算机系统，可以帮助决策者使用其交互式的计算机系统，可以帮助决策者使用其数据及模型来解决非结构化的问题数据及模型来解决非结构化的问题”。1980s，DSS的主要特征的主要特征数据和模型是数据和模型是 DSS 的主要资源；的主要资源；DSS 是用来支持用户作决策，而不是代替用户作决策是用来支持用户作决策，而不是代替用户作决策DSS 主要用来解决半结构化及非结构化问题主要用来解决半结构化及非结构化问题DSS 的目的在于提高决策的有效性而不是提高决策的的目的在于提高决策的有效性而不是提高决策的效率。效率。Turban 管理支持系统管理支持系统13MIS与与DS
9、S的比较的比较14本讲的主要内容本讲的主要内容决策与决策支持系统决策与决策支持系统DSS的结构与工作原理的结构与工作原理多维数据模型多维数据模型数据仓库数据仓库OLAP、EIS与数据可视化与数据可视化数据挖掘数据挖掘商业智能商业智能15DSS的结构（的结构（1）16DSS的结构（的结构（2）数据库子系统数据库子系统DSS中的数据通常是预先从相关的数据库中抽取出来中的数据通常是预先从相关的数据库中抽取出来的，而不是的，而不是MIS中庞大的数据。中庞大的数据。DSS的的DB中的数据来源中的数据来源组织内部现有的组织内部现有的IS，如，如MIS、TPS来自组织外部，为分析和决策服务来自组织外部，为分
10、析和决策服务DSS并不直接存取修改现有的并不直接存取修改现有的IS的数据，因为的数据，因为MIS、TPS的数据不满足的数据不满足DSS的要求的要求安全性和速度的考虑安全性和速度的考虑数据库子系统的作用数据库子系统的作用为决策模型提供数据为决策模型提供数据17DSS的结构（的结构（3）模型库子系统模型库子系统模型模型从层次的角度来说，模型库中的模型主要划分为四从层次的角度来说，模型库中的模型主要划分为四种类型：战略的、战术的、操作的和分析的。种类型：战略的、战术的、操作的和分析的。有四种模型分析功能在有四种模型分析功能在 DSS 中是最常用：因果分中是最常用：因果分析（析（what-if ana
11、lysis)，目标追寻，风险分析和仿，目标追寻，风险分析和仿真。真。模型库模型库许多模型、模型构建模块许多模型、模型构建模块、编程语言、编程语言18DSS的结构（的结构（4）模型库管理系统（模型库管理系统（MBMS）模型库管理系统是为生成模型和管理模型提供一个模型库管理系统是为生成模型和管理模型提供一个用户友好环境的计算机软件系统。用户友好环境的计算机软件系统。用户可以通过用户可以通过MBMS灵活地访问、更新、生成和运灵活地访问、更新、生成和运行模型。行模型。MBMS使模型的适用范围拓宽，从而使决策者能方使模型的适用范围拓宽，从而使决策者能方便地使用模型；同时它还要为决策者提供将现实问便地使用
12、模型；同时它还要为决策者提供将现实问题抽象成模型的工具。题抽象成模型的工具。所以可以说模型管理系统是联系决策问题、数据与所以可以说模型管理系统是联系决策问题、数据与模型的桥梁。模型的桥梁。19DSS的结构（的结构（5）模型库管理系统的主要功能模型库管理系统的主要功能模型构建模型构建帮助用户迅速、方便地构建模型。构建的模型可以是全新的，帮助用户迅速、方便地构建模型。构建的模型可以是全新的，也可以是在某个模型基础上修改加工的也可以是在某个模型基础上修改加工的模型库维护模型库维护对模型的登记、分类、删除、拷贝，对模型目录的修改、建对模型的登记、分类、删除、拷贝，对模型目录的修改、建立、删除等立、删除
13、等模型操作模型操作模型与模型的连接生成新模型模型与模型的连接生成新模型对模型执行情况进行跟踪对模型执行情况进行跟踪 模型与数据的连接模型与数据的连接模型结果分析模型结果分析20DSS的结构（的结构（6）会话子系统会话子系统会话子系统是会话子系统是 DSS 人机接口界面人机接口界面提供用户表达和描述决策问题的窗口提供用户表达和描述决策问题的窗口提供用户干预和影响问题求解过程提供用户干预和影响问题求解过程DSS 的的决决策策过过程程是是人人机机交交互互的的启启发发式式过过程程，问问题题的的解解决决过过程程往往往往要要分分解解成成若若干干阶阶段段。一一个个阶阶段段得得到到阶阶段段结结果果及及某某些些
14、启启示示，然然后后进进入入下下一一阶阶段段的的人人机机会会话话，如如此此反反复复。DSS 由由不不了了解解系系统统内内部的人使用，因此会话子系统的好坏标志着部的人使用，因此会话子系统的好坏标志着 DSS 的实用水平的实用水平会会话话形形式式以以菜菜单单、窗窗口口、选选择择表表等等图图形形方方式式为为主主，也也可可以用自然语言的形式以用自然语言的形式21三种结构的三种结构的DSS 三库结构三库结构数据库数据库模型库模型库对对 话话子子 系系 统统数数 据据 库库管理系管理系 统统模模 型型 库库管理管理 系系 统统用户用户数据库数据库模型库模型库对对 话话子子 系系 统统数数 据据 库库管理系管
15、理系 统统模模 型型 库库管理管理 系系 统统用户用户方法库方法库知识库知识库方方 法法 库库管理系管理系 统统知知 识识 库库管理系管理系 统统数据库数据库模型库模型库对话对话子系统子系统方法库方法库管理系统管理系统模型库模型库管理系统管理系统用户用户数据库数据库管理系统管理系统方法库方法库四库结构四库结构两库结构两库结构22DSS案例：案例：CargoProf收益管理系统（收益管理系统（1）1254xxx乘客订位代理人乘客订位代理人乘客订位系统乘客订位系统乘客预测数据乘客预测数据航班调度服务器航班调度服务器可运输货物容量预测可运输货物容量预测货物订舱代理人货物订舱代理人要求要求要求要求接受
16、接受/拒绝拒绝货运定舱系统货运定舱系统货物尺寸货物尺寸费率数据费率数据可用容量可用容量/最低价格最低价格CargoProf收益管理系统收益管理系统323DSS案例：案例：CargoProf收益管理系统（收益管理系统（2）模型与模型库管理系统模型与模型库管理系统模型模型1：乘客数量预测模型：乘客数量预测模型模型模型2：乘客行李预测模型：乘客行李预测模型-可运输货物容量预测可运输货物容量预测主模型主模型模型模型3：收益管理决策模型：收益管理决策模型背包问题：有限容量，收益最大化背包问题：有限容量，收益最大化模型库管理系统：确定模型的调用关系模型库管理系统：确定模型的调用关系数据库子系统数据库子系统
17、乘客数量分布乘客数量分布规律规律 乘客乘客历史数据历史数据乘客行李的分布乘客行李的分布规律规律乘客乘客行李历史数据行李历史数据利润目标数据利润目标数据会话子系统会话子系统24问题问题11142225仿真：决策支持的利器仿真：决策支持的利器假如你是银行的经理假如你是银行的经理各类业务分别配置多少人力？各类业务分别配置多少人力？这一决策考虑哪些因素？这一决策考虑哪些因素？服务水平、成本、可操作性服务水平、成本、可操作性怎么定量地解决？怎么定量地解决？Demo26何谓仿真（何谓仿真（1）一个计算机化的模型，模仿（再现）真实系统的一个计算机化的模型，模仿（再现）真实系统的运行过程运行过程仿真是静态的还
18、是动态的？仿真是静态的还是动态的？仿真时钟仿真时钟仿真能得到什么？仿真能得到什么？用什么来刻画运行过程？用什么来刻画运行过程？聚焦于关心的管理问题：服务水平、成本聚焦于关心的管理问题：服务水平、成本队长、等待时间、员工的数量、忙闲队长、等待时间、员工的数量、忙闲系统的状态变量系统的状态变量运行过程运行过程=状态变量随时间的变化过程状态变量随时间的变化过程 27何谓仿真（何谓仿真（2）怎么模仿？怎么模仿？模仿的其实是系统中实体的行为（动作）模仿的其实是系统中实体的行为（动作）顾客的到来、离去；员工的服务顾客的到来、离去；员工的服务行为对系统的状态有什么影响？行为对系统的状态有什么影响？行为改变状
19、态行为改变状态理解仿真理解仿真时间在推进，实体在行动，状态在改变时间在推进，实体在行动，状态在改变行为、状态、时间是仿真的三要素行为、状态、时间是仿真的三要素28仿真是如何支持决策的仿真是如何支持决策的模仿了系统的运行过程之后模仿了系统的运行过程之后？评估评估了解系统的运行过程，评估系统在目前状态下的性了解系统的运行过程，评估系统在目前状态下的性能能What-if 分析分析得到不同配置得到不同配置(if)下，系统的性能（下，系统的性能（What）通过比较，得到优选方案通过比较，得到优选方案实验的思想！实验的思想！29为什么要仿真为什么要仿真直接在实际系统之上做实验，成本太高、太过直接在实际系统
20、之上做实验，成本太高、太过危险，或会造成太大干扰危险，或会造成太大干扰社会经济系统，经济政策、股票市场社会经济系统，经济政策、股票市场工程，火箭、危险品工程，火箭、危险品系统相当复杂，数学模型无法提供分析或数值系统相当复杂，数学模型无法提供分析或数值解解如果模型足够简单，采用数学工具求解如果模型足够简单，采用数学工具求解理解、分析或预测一些复杂系统的行为理解、分析或预测一些复杂系统的行为股票泡沫、崩跌股票泡沫、崩跌36思考思考这种模型导向的这种模型导向的DSS的核心是什么？的核心是什么？能否得到能否得到DSS需要的数据需要的数据DSS与一般的管理科学模型的区别之一与一般的管理科学模型的区别之一
21、抽象现实问题，选择合适的模型抽象现实问题，选择合适的模型存在什么弊端存在什么弊端专用系统、相对独立专用系统、相对独立模型合理性、可信度模型合理性、可信度?某些现实问题建模困难某些现实问题建模困难37案例：现实世界中人是如何做决策的案例：现实世界中人是如何做决策的出租司机给我上的出租司机给我上的MBA课课要用科学的方法，统计学来做生意要用科学的方法，统计学来做生意 从现实数据中，总结分析得到客户行为的规律从现实数据中，总结分析得到客户行为的规律总结出来的规律用于支持决策总结出来的规律用于支持决策38两类两类DSSModel-driven DSS，模型导向决策支持系统，模型导向决策支持系统Prim
22、arily stand-alone Uses model to perform“what-if”and other kinds of analysisData-driven DSS，数据导向决策支持系统，数据导向决策支持系统Allows users to extract and analyze useful information from large databases数据仓库、数据仓库、OLAP、数据挖掘、数据挖掘39数据导向决策支持系统的结构数据导向决策支持系统的结构40GDSS群决策支持系统群决策支持系统 人机交互的计算机系统人机交互的计算机系统 解决半结构化问题解决半结构化问题支持群
23、体（团队支持群体（团队/多人）一起工作多人）一起工作硬件：通信硬件：通信软件：由个人意见形成群体决策结果：软件：由个人意见形成群体决策结果：Electronic questionnaires,brainstorming tools,voting tools,etc41本讲的主要内容本讲的主要内容决策与决策支持系统决策与决策支持系统DSS的结构与工作原理的结构与工作原理多维数据模型多维数据模型数据仓库数据仓库OLAP、EIS与数据可视化与数据可视化数据挖掘数据挖掘商业智能商业智能42问题问题XX公司销售统计表公司销售统计表统计期间：统计期间：2008年年1月月 单位：万元单位：万元空调空调冰箱冰
24、箱彩电彩电华中地区华中地区400500800华北地区华北地区600700900选择、连接、汇总、计算选择、连接、汇总、计算销售单（销售单号，销售时间，门店号）销售单（销售单号，销售时间，门店号）销售明细（销售单号，产品编号，销售量）销售明细（销售单号，产品编号，销售量）产品（产品编号，产品名称，产品类别，单价）产品（产品编号，产品名称，产品类别，单价）门店（门店号，门店名，地址）门店（门店号，门店名，地址）43背景背景OLTP进出仓登录进出仓登录与记账与记账增加一条新的生产线，增加一条新的生产线，更改产品单价更改产品单价更改顾客信用更改顾客信用销售订单录入销售订单录入产品数据库存数据销售数据数
25、据库：面向业数据库：面向业务的数据组织务的数据组织事事务务处处理理OLAP产品数据顾客数据供应商数据数据仓库：面向数据仓库：面向主题的数据组织主题的数据组织每种物料保持多少每种物料保持多少安全库存最佳？安全库存最佳？上个月有多少产品的上个月有多少产品的销售额超过销售额超过10000元？元？决决策策支支持持44多维模型多维模型空调空调4 4季度季度华中地区华中地区销售收入销售收入100100万元万元时间维时间维产产品品维维门店维门店维100100销售收入销售收入A A型型1.51.5匹变频空调匹变频空调4 4季度季度街道口店街道口店销售收入销售收入1010万元万元45多维模型的概念（多维模型的概
26、念（1）多维数据模型多维数据模型用多维结构来组织数据和表示数据之间的关系用多维结构来组织数据和表示数据之间的关系立方里面是销售数据，即数据测量值，称之为度量立方里面是销售数据，即数据测量值，称之为度量坐标轴是维，维提供了测量值的上下文关系。坐标轴是维，维提供了测量值的上下文关系。其目的就是为了分析（决策）其目的就是为了分析（决策）多维图形表示是逻辑模型，物理上有多种实现方法多维图形表示是逻辑模型，物理上有多种实现方法此维非彼维此维非彼维RDB中的维：一行数据表示一个实体（纵轴），一列数中的维：一行数据表示一个实体（纵轴），一列数据表示实体的一个属性（横轴）据表示实体的一个属性（横轴）多维多维D
27、B中的维表示看问题（数据）的中的维表示看问题（数据）的角度角度多维模型的一个切面（二维），其含义也与多维模型的一个切面（二维），其含义也与RDB不同不同46多维模型的概念（多维模型的概念（2）维度维度观察数据的特定角度：时间、地理、产品观察数据的特定角度：时间、地理、产品维的层次维的层次 某个特定角度（维）在细节程度上有不同的描述某个特定角度（维）在细节程度上有不同的描述时间维：日期、月份、季度、年时间维：日期、月份、季度、年是数据单位中保存数据的细化或综合程度的级别。是数据单位中保存数据的细化或综合程度的级别。维的成员维的成员维的一个取值称为该维的一个成员。维的一个取值称为该维的一个成员。不
28、同维层次上的取值的组合：某年某月某日不同维层次上的取值的组合：某年某月某日度量度量不同维在某一取值下的交叉点，有数据有单位不同维在某一取值下的交叉点，有数据有单位事实事实维和度量的组合，可用多维数组来表示。维和度量的组合，可用多维数组来表示。47星型模型（星型模型（1）Employee_DimEmployee_DimEmployeeKeyEmployeeID.EmployeeKeyTime_DimTime_DimTimeKey年月季度日期TimeKeyProduct_DimProduct_DimProductKeyProductID产品描述产品目录目录描述ProductKeyCustomer_
29、DimCustomer_DimCustomerKeyCustomerID.CustomerKeyShipper_DimShipper_DimShipperKeyShipperID.ShipperKeySales_FactTimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey单位（元）单位（元）金额金额.TimeKeyCustomerKeyShipperKeyProductKeyEmployeeKeyMultipart KeyMultipart KeyMeasuresMeasuresDimensional KeysDimensional Keys事实表
30、事实表维表维表48星型模型（星型模型（2）GeographicProductTimeUnits$DimensionTablesGeographicGeographic ProductProduct TimeTime Fact TableMeasuresMeasuresFactsFactsDimensionDimension49星型模型实例星型模型实例51本讲的主要内容本讲的主要内容决策与决策支持系统决策与决策支持系统DSS的结构与工作原理的结构与工作原理多维数据模型多维数据模型数据仓库数据仓库OLAP、EIS与数据可视化与数据可视化数据挖掘数据挖掘商业智能商业智能52数据仓库的定义数据仓库的定
31、义 一个面向主题的、集成的、非易失的且随时间变一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员做出决策。化的数据集合，用来支持管理人员做出决策。数据仓库之父数据仓库之父WHInmon是什么？是什么？数据的集合数据的集合与数据库有什么区别？与数据库有什么区别？有什么特点？有什么特点？目的是什么？目的是什么？53数据仓库的特征（数据仓库的特征（1）面向主题面向主题(Subject Oriented)的数据集合的数据集合数据仓库中的数据如何组织？数据仓库中的数据如何组织？面向主题的面向主题的,指的是它将依据一定的主题指的是它将依据一定的主题,汇总各个汇总各个OLTP系统的数据
32、。系统的数据。主题是什么主题是什么关心的管理问题，关心的领域关心的管理问题，关心的领域-顾客、供应商、产品、销售 主题要从多个角度去描述主题要从多个角度去描述主题的确定是管理上的问题，而不仅仅是技术上的问题主题的确定是管理上的问题，而不仅仅是技术上的问题-主题的确定最好要知道客户需求，否则可能是白忙活怎么组织怎么组织多维数据模型多维数据模型54SalesFinancialInventoryOperational SystemsData WarehouseCustomerGeographyProductOrganized by processesor tasksOrganized by subj
33、ectA subject oriented approach to corporate memory55数据仓库的特征（数据仓库的特征（2）集成集成(Integrated)的数据集合的数据集合 数据仓库中的数据从哪里来？数据仓库中的数据从哪里来？多个异种数据源构成的，可能包括关系数据库、面向多个异种数据源构成的，可能包括关系数据库、面向对象数据库、文本数据库、对象数据库、文本数据库、Web数据库、一般文件等数据库、一般文件等有什么问题？有什么问题？格式不统一、数据不一致格式不统一、数据不一致要求对各个系统数据表示进行转换要求对各个系统数据表示进行转换,用统一编码表示用统一编码表示,比如比如,A
34、系统用系统用001表示退货表示退货,而而B系统用系统用999表示退货表示退货,在数据仓库中在数据仓库中必须统一成一个编码。必须统一成一个编码。数据的抽取数据的抽取/转换转换/加载（加载（ETL）56数据仓库的特征（数据仓库的特征（3）非易失的非易失的(Nonvolatile)的数据集合的数据集合指的是数据被装载入以后，系统用户只读数据指的是数据被装载入以后，系统用户只读数据,不不得修改数据。得修改数据。时变时变(Time Variant)的数据集合的数据集合数据仓库中包含时间元素，它所提供的信息总是与数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的时间相
35、关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据。数据，而不仅仅是某一个时刻的数据。数据仓库完整地记录了各个历史时期的数据数据仓库完整地记录了各个历史时期的数据,而而OLTP系统不会保留全部的历史记录。系统不会保留全部的历史记录。57数据比较数据比较DB 操作型数据（操作型数据（OLTP）DW分析型数据（分析型数据（OLAP）原始数据原始数据 导出数据导出数据细节数据细节数据 细节细节+综合性或提炼性数据综合性或提炼性数据当前数据当前数据 历史数据历史数据可更新可更新 不可更新，但周期性刷新不可更新，但周期性刷新一次处理的数据量小一次处理的数据量小 一次处理的数据量大一次
36、处理的数据量大面向应用，事务驱动面向应用，事务驱动 面向分析，分析驱动面向分析，分析驱动面向操作人员，支持日常操作面向操作人员，支持日常操作 面向决策人员，面向决策人员，支持管理需要支持管理需要 58理解数据仓库理解数据仓库数据仓库和数据库的区别？数据仓库和数据库的区别？数据库和数据仓库当然都是装数据的地方，关键的数据库和数据仓库当然都是装数据的地方，关键的区别是装的什么样的数据。区别是装的什么样的数据。数据库装的原始数据，没经过任何加工；数据库装的原始数据，没经过任何加工；而数据仓库是为了满足分析需要，对源数据进行了而数据仓库是为了满足分析需要，对源数据进行了转换过程，具体是怎样一个处理过程
37、，可以从转换过程，具体是怎样一个处理过程，可以从Bill Inmon的仓库定义四个特性进行理解。的仓库定义四个特性进行理解。数据仓库在物理上也是数据库，只不过是多维的数据仓库在物理上也是数据库，只不过是多维的为什么要建立数据仓库为什么要建立数据仓库59DB vs.DWH60数据仓库的组成部分与流程数据仓库的组成部分与流程 1 源数据源数据 2 数据准备区（数据准备区（Staging Area）3 数据仓库（存储）数据仓库（存储）4 决策支持决策支持Application Application DatabasesDatabasesPackaged Packaged application/ER
38、P application/ERP DataDataDesktop DataDesktop DataExternal DataExternal DataWeb-based Web-based DataDataAdapted from SunExpert Magazine,October 1998._INCOME ANNUAL REPORT_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 报表报表/查询查询EISOLAP数据挖掘数据挖掘抽取抽取转换转换清洗清洗数据仓库数据仓库数据集市数据集市元数据元数据加加 载载61数据准备部分（数据准备部分（1）源数据部分源数据部分 内部
39、数据、外部数据内部数据、外部数据多来源，数据库（面向业务、多来源，数据库（面向业务、ER）数据准备部分数据准备部分 把不同数据源得到的数据修改、转换成适合数据分析把不同数据源得到的数据修改、转换成适合数据分析的格式存储的格式存储面向主题、多维、一致面向主题、多维、一致抽取、转换和装载，简称为抽取、转换和装载，简称为ETL流程流程 数据抽取数据抽取(data extraction)数据抽取是数据仓库按分析主题从业务数据库抽取相数据抽取是数据仓库按分析主题从业务数据库抽取相关数据的过程。关数据的过程。抽取全部数据么？抽取全部数据么？62数据准备部分（数据准备部分（2）数据清洗数据清洗(data c
40、leaning)将错误的、不一致的数据予以更正或删除。将错误的、不一致的数据予以更正或删除。得到准确的数据！得到准确的数据！数据转换数据转换(data transformation)将不同格式的数据转换成统一的数据格式将不同格式的数据转换成统一的数据格式不同的数据库产品，数据类型可能不同。不同的数据库产品，数据类型可能不同。eg.时间格式。时间格式。得到统一格式的数据。得到统一格式的数据。数据加载数据加载(data load)指把清洗后的数据装入数据仓库的过程。指把清洗后的数据装入数据仓库的过程。数据加载策略包括数据加载周期和数据追加策略。数据加载策略包括数据加载周期和数据追加策略。63数据存
41、储部分数据存储部分（1）3部分：数据仓库、数据集市、元数据部分：数据仓库、数据集市、元数据数据仓库的数据组织结构数据仓库的数据组织结构 粒度：分析过程由粗到细粒度：分析过程由粗到细OLAP钻取、时间钻取、时间64数据存储部分数据存储部分（2）数据集市（数据集市（data mart）面向企业中的某个部门（主题）而在逻辑上或物理上面向企业中的某个部门（主题）而在逻辑上或物理上划分出来的数据仓库中的数据子集称为数据集市划分出来的数据仓库中的数据子集称为数据集市数据仓库面向整个企业，而数据集市则面向企业中的数据仓库面向整个企业，而数据集市则面向企业中的某个部门某个部门目的是减少数据处理量，提高处理效率
42、目的是减少数据处理量，提高处理效率两种数据集市：独立的、非独立的两种数据集市：独立的、非独立的非独立的非独立的（复制的）数据集市（复制的）数据集市数据仓库某部分主题的复制品。数据仓库某部分主题的复制品。目的：提高效率、易访问目的：提高效率、易访问数据源于数据仓库，要首先建立数据仓库。数据源于数据仓库，要首先建立数据仓库。65数据存储部分数据存储部分（3）独立的数据集市独立的数据集市出发点：成本、时间出发点：成本、时间直接从操作型环境获取数据直接从操作型环境获取数据每个数据集市都负责某个特定领域的信息集合每个数据集市都负责某个特定领域的信息集合难点：各集市的数据一致性问题，需要集成难点：各集市的
43、数据一致性问题，需要集成元数元数据的规则据的规则Q：多个独立的数据集市能代替数据仓库么？：多个独立的数据集市能代替数据仓库么？Ralph Kimball：数据仓库只不过是一些数据集市的集数据仓库只不过是一些数据集市的集合而已合而已 Inmon：你可以在大海中捕到很多的小鱼并堆积起来你可以在大海中捕到很多的小鱼并堆积起来,但它但它们仍然不是鲸们仍然不是鲸 66数据存储部分数据存储部分（4）数据集市具有如下一些优点数据集市具有如下一些优点 其成本和企业数据仓库相比较低其成本和企业数据仓库相比较低(通常在通常在10万万-100万万美元左右美元左右)。实施的时间短，通常少于实施的时间短，通常少于90天
44、。天。数据集市可以在局部进行控制而不需要在企业范围集数据集市可以在局部进行控制而不需要在企业范围集中控制，用户就有了更多的权力。中控制，用户就有了更多的权力。数据集市比数据仓库包含更少的信息，因此比企业级数据集市比数据仓库包含更少的信息，因此比企业级数据仓库更容易被浏览。数据仓库更容易被浏览。数据集市允许业务单元建立自己的决策支持系统而不数据集市允许业务单元建立自己的决策支持系统而不需要依靠公司的信息系统部门。需要依靠公司的信息系统部门。独立的数据集市可以用于验证开发全面的企业数据仓独立的数据集市可以用于验证开发全面的企业数据仓库所需资源，这能够快速实现收益，投资回报更快。库所需资源，这能够快
45、速实现收益，投资回报更快。67数据存储部分数据存储部分（5）元数据元数据元数据部分是数据仓库数据本身信息的数据。元数据部分是数据仓库数据本身信息的数据。从哪里来？操作型元数据。建立数据仓库中的数据与从哪里来？操作型元数据。建立数据仓库中的数据与操作型数据源的原始数据间的联系。操作型数据源的原始数据间的联系。怎么来？抽取和转换元数据。包含了源数据系统的数怎么来？抽取和转换元数据。包含了源数据系统的数据抽取信息，即抽取频率、抽取方法和数据抽取的商据抽取信息，即抽取频率、抽取方法和数据抽取的商业规则。业规则。怎么用？最终用户元数据。是数据仓库的导航图，它怎么用？最终用户元数据。是数据仓库的导航图，它
46、使最终用户可以从数据仓库中找到自己需要的信息。使最终用户可以从数据仓库中找到自己需要的信息。68本讲的主要内容本讲的主要内容决策与决策支持系统决策与决策支持系统DSS的结构与工作原理的结构与工作原理多维数据模型多维数据模型数据仓库数据仓库OLAP、EIS与数据可视化与数据可视化数据挖掘数据挖掘商业智能商业智能69OLAPOLAP：联机分析处理：联机分析处理由关系数据库之父由关系数据库之父E.F.Codd于于1993年提出的。年提出的。OLAP理事会的定义：理事会的定义：OLAP是一种软件技术，它使是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察分析人员能够迅速、一致、交互地从各
47、个方面观察信息，以达到深入理解数据的目的。这些信息是从信息，以达到深入理解数据的目的。这些信息是从原始数据直接转换过来的，它们以用户容易理解的原始数据直接转换过来的，它们以用户容易理解的方式反映企业的真实状况。方式反映企业的真实状况。理解理解OL：OLAP vs.OLTP，复杂查询、快，复杂查询、快理解分析：理解分析：OLA P的一个主要特点是多维数据分析的一个主要特点是多维数据分析OLAP的数据源从哪里来？是什么样的数据？的数据源从哪里来？是什么样的数据？70OLAP的的12条准则条准则Codd提出提出OLAP的的12条准则来描述条准则来描述OLAP系统系统准则准则1 OLAP模型必须提供多
48、维概念视图模型必须提供多维概念视图准则准则2 透明性准则透明性准则准则准则3 存取能力推测存取能力推测准则准则4 稳定的报表能力稳定的报表能力准则准则5 客户客户/服务器体系结构服务器体系结构准则准则6 维的等同性准则维的等同性准则准则准则7 动态的稀疏矩阵处理准则动态的稀疏矩阵处理准则准则准则8 多用户支持能力准则多用户支持能力准则准则准则9 非受限的跨维操作非受限的跨维操作准则准则10 直观的数据操纵直观的数据操纵准则准则11 灵活的报表生成灵活的报表生成准则准则12 不受限的维与聚集层次不受限的维与聚集层次71Q4时间时间Q1Q2Q3ProductGrapesApplesMelonsCh
49、erriesPearsLocationAtlantaDenverDetroitSalesSales Introduction to CubesProductGrapesApplesMelonsCherriesPears产品产品空调空调冰箱冰箱洗衣机洗衣机彩电彩电小家电小家电地区地区华北华北华中华中华南华南SalesSales72OLAP的基本多维分析操作（的基本多维分析操作（1）切片（切片（slice）多维数据是由多个维度组成的，如果在某一维度上多维数据是由多个维度组成的，如果在某一维度上选定一个值，则多维数据就从选定一个值，则多维数据就从n维下降至维下降至n-1维，称维，称多维数据的子集多维
50、数据的子集(维维l，维，维2，维，维i-1，维，维i+1，维，维n，度量变量，度量变量)是多维数据在维是多维数据在维i上切片。上切片。切片操作在给定的数据多维模型的一个维度上进行切片操作在给定的数据多维模型的一个维度上进行选择，导致一个子方（选择，导致一个子方（Cube）。）。比如：可以对时间维度按比如：可以对时间维度按时间时间=2002年年1月月进行切片，得进行切片，得到一个含产品和门店两个纬度的片状图。到一个含产品和门店两个纬度的片状图。73OLAP的基本多维分析操作（的基本多维分析操作（2）切块（切块（dice）选定多维数组选定多维数组(维维1，维，维2，维，维n，度量变量，度量变量)中