《数据仓库基础培训.ppt》由会员分享，可在线阅读，更多相关《数据仓库基础培训.ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、山西项目组2010.6数据仓库基础培训AgendaBI概要介绍概要介绍1山西移动业务介绍山西移动经营分析系统山西移动经分关键主题域234BI是什么？BI(Business Intelligence)即商业智能，是一种以计算机为工具，应用决策科学及有关学科的理论与方法，以人机交互方式辅助决策者解决半结构化和非结构化决策问题的信息系统。最早在1996年提出，初期BI定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前，BI通常被理解为将企业中现有的数据转化为知识数据转化为知识，帮助企业做出明智的业务经营决策的工具。商业
2、智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策BI是数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)等技术的综合运用，可看做一种解决方案。在中国移动系统建设中，BI系统称之为经营分析系统。BI涉及技术-DW数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管理部门的决策过程。DW特点1234面向主题面向主题(Subject Oriented)(Subject Oriented)数据仓库通常围绕一些主题，如“产品”、“销售商”、“消费者”等来进行 组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处
3、理。因此，数据仓库提供了特定主题的简明视图，排除了对于决策无用的数据集成集成(Integrated)(Integrated)数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等时变时变(Time Variant)(Time Variant)数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据 非易失非易失(Nonvolatile)(Nonvolatile)的数据集合的数据集合数据仓库总是与操作环境下的实时应用数据物理地分离存放，
4、因此不需要事务处理、恢复和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访问，因此其数据相对稳定，极少或根本不更新。BI涉及技术-ETLETL是什么？数据抽取（Extract）、转换（Transform）、装载（Load）目的将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。关注数据是从几个业务系统中来，业务系统是省集中还是市集中，数据的抽取周期，增量还是全量。接口服务器接口服务器ETL 服务器加载临时区数据仓库文件数据库业务系统接口服务器接口服务器ETL 服务器数据提供端数据接收端加载临时区数据仓库文件文件BI涉及技术-OLAPOLAP(联机分析
5、处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。切片和切块(Slice and Dice)钻取(Drill)旋转(Rotate)ROLAP/MOLAP/HOLAPBI涉及技术-DM数据挖掘(Data Mining)是从数据中自动地抽取模式、关联、变化、异常和有意义的结构。数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型。关联分类聚类决策树神经网络BI发展方向分析查询第二阶段：为什么会发生?动态查询分析功能逐渐增加持续数据更新和快速查询第四阶段
6、：正在发生什么?持续数据更新及快速响应查询第一阶段：发生了什么?主要是批处理统计查询统计第三阶段将会发生什么?分析预测挖掘模型分析预测第五阶段：希望发生什么?战略与战术的结合事件驱动事件驱动BI的建设是一个过程，而不是一个项目国内BI行业应用国内BI行业前景金融：金融：在BI领域投资稳步增长，每年均有大量的BI需求，操作型BI应用越来越广泛，尤其是信贷评审领域。中小型银行BI需求也不断涌现，未来将是金融行业BI市场的主要增长点。在未来5年时间里，BI应用在金融行业仍将高速发展。电信：电信：电信行业信息化程度很高，对信息化依赖很强，积累了大量的数据，具有实施商业智能项目的基础条件和资金实力。电信
7、行业对于BI深入应用是最渴望的，在话费套餐设置、客户潜力分析等都需要数据挖掘技术来提供决策依据。在这些行业，实力雄厚的BI厂商已占据有利的地位。保险：保险：大型保险公司中基本已经建立商业智能相关系统，并发挥了一定的作用。但是随着新业务的推出，系统地后期开发和维护仍然需要大量的投资。据ChinaBI了解，中小型保险公司也还有待加强商业智能系统的建设。能源：能源：石油和电力等能源行业的企业，均是国有大型企业，基本上已经实施了商业智能系统，但是还有待深入挖掘商业智能的价值。这些企业的省市分公司，将会不断有新的需求涌现，发展潜力较大。国内BI行业前景烟草：烟草：各地烟草企业已经建立很多商业智能系统，但
8、是还有更大的空白市场。烟草公司项目建设难度低、利润大，应用前景不错。政务：政务：商业智能在电子政务中的应用，更多的涉及到报表填制、数据统计，需要报表系统能很好的满足中国特色报表的要求。一般采用自上而下的市场推广手段会前景广阔。航空：航空：国内的航空公司，也在逐步深入BI系统的建设。制造：制造：制造业的企业信息化水平参差不齐，有些大中型企业已经成功使用商业智能技术，但是大部分企业基础信息化水平仍未达到，随着这些企业的信息化水平逐步提高，建设商业智能系统的需求也会随之而来。随着金融危机的度过和国内经济的恢复，制造业将是未制造业将是未来商业智能新的增长点。来商业智能新的增长点。零售：零售：一些大型的
9、超市、百货、电器、手机等销售企业，绝大部分已经实现了连锁，基础信息化建设程度高，商业智能技术已经应用较广泛，未来还有进一步的应用空间据ChinaBI预测，未来商业智能在各行业均稳定发展，新的利润增长点主要集中于金融和制造业。BI厂商列表下表列出了截止到2009年中国大陆地区的主要BI厂商厂商产品及简介IBMDB2以及Cognos、SPSS、DataStage，覆盖BI全部领域OracleOracle、Hyperion，覆盖BI全部领域，数据挖掘领域有待加强MicrosoftSQLServer，覆盖BI全部领域，适合中小型企业，性价比高InformaticaInformatica，主要是数据集成
10、领域TeradataTeradataTeradataTeradata，主要是数据仓库领域，主要是数据仓库领域SybaseSybaseIQ，主要是数据仓库领域SAPBusinessObjects、CrystalReports，主要是OLAP和报表领域SASSAS，数据挖掘领域领先奥威智动Power-BI，主要是OLAP和报表领域，行业解决方案尚南BlueQuery，主要是OLAP和报表领域（已被用友华表收购）润乾润乾报表，主要是OLAP和报表领域探智Trinity，主要是数据集成领域国内BI厂商关注度BI发展趋势数据集成应用得到重视数据集成应用得到重视BI发展趋势数据分析从简单走向深入数据分析从
11、简单走向深入BI企业将在垄断中不断新生企业将在垄断中不断新生MDM将在大型企业中逐步应用将在大型企业中逐步应用中小企业中小企业BI应用逐渐扩大市场份额应用逐渐扩大市场份额SAAS BI将得到快速发展将得到快速发展操作型操作型BI应用得到发展应用得到发展企业并购和重组仍将继续企业并购和重组仍将继续职业技能要求技术人员业务人员1、Teradata数据库使用2、熟练编写SQL及SQL优化3、ETL4、OLAP5、JAVA1、熟练掌握移动业务2、业务分析方法3、沟通表达能力4、文档能力AgendaBI概要介绍1移动业务介绍移动业务介绍山西移动经营分析系统山西移动经分关键主题域234营业总体数据流图欠费
12、提醒实时帐务用户业务受理三户资料业务变更信用管理统一开通订单管理黑名单管理缴费销帐帐单积分管理HLR集团规范定义的三户模型内蒙BOSS的三户模型用户域模型客户域模型帐户域模型数据业务分类按用户划分个人数据业务短信，彩信，彩铃，飞信，GPRS,手机报，来电显示，来电提醒，语言信箱，手机邮箱，pushmail,语音杂志，号簿管家，随E行，WLAN业务等。集团数据业务集团彩信、无线PBX、集团VPMN、企业信息机、BLACK Berry、IDC、企业随E行、农信通、银信通、航信通、校信通等。按通讯信道划分语音增值业务彩铃、来电显示、来电提醒、主叫隐藏、电话会议、语音信箱、语言秘书、语言杂志(IVR)
13、SMS信道短信，梦网短信，银信通/航信通/校信通等CSD信道CSD手机上网无线数据业务信道 GPRS/EDGE/3GGPRS无线互联网、WAP手机上网、彩信(MMS)、手机报、飞信、pushmail、手机邮箱等，无线DDN等。WLAN/WiMAXWlan、随e行、企业随e行、wlan无线互联网等。数据业务分类(续)按合作运营方式移动自营运营点对点短信、点对点彩信、飞信、手机报中的新闻早晚报、彩铃平台、GPRS上网、中央音乐平台、手机上网移动与SP合作运营梦网短信、非中央音乐平台下载的手机铃音和彩铃、12530(IVR)、其他SP提供的手机报、梦网彩信。中国移动SPCP手机报中央音乐平台飞信用户
14、AgendaBI概要介绍1山西移动业务介绍山西移动经营分析系统山西移动经营分析系统山西移动经分关键主题域234山西移动策略经分系统辅助完善业务策略制定以及业务策略执行中国移动运营发展移动经分建设背景运营帐务数据其它数据上报周期冗长报表繁多信息不完整无法核对需要确定业务原因新的报表要求失去时间意义企业运营需要上市业务公告企业管理决策市场战略调整绩效考核市场反应和主动营销移动经分建设背景VGOPBOSS呼叫中心大客户财务门户系统网管业务发展快，系统林立，数据分散缺乏统一标准，数据存在大量的不一致由于信息不准确，不完整，无法实现精确营销理念；缺乏企业内部的信息共享架构，从整个企业范围来看，存在信息孤
15、岛的隐患数据-信息-知识的有效转化较少，并且分析结果不能有效地反馈回操作环境中去。移动经分建设目标提供数据标准，统一数据格式，建立企业级数据仓库，形成统一数据平台，实现信息共享。按主题域组织数据，实现信息统一，增强数据的相关性，减少信息歧义，为统计分析提供大量的数据准备，降低分析的难度。用专业分析工具提供丰富的分析手段和数据展现，缩短数据查看的反应时间，提高数据质量。为管理决策、业务分析提供依据。对海量的、历史的数据进行深加工，实现精细化营销，提升企业的运营水平和竞争力，提高企业决策的准备性和及时性，为企业运营服务。硬件：2*4855，磁盘/数据容量2.88TB/2TB200520021.02
16、.01.5硬件：6*5450+(3+1)*5500c，磁盘/数据容量新增46TB/32.5TB2008硬件：10*5380，磁盘/数据容量新增20TB/15TB硬件：2*5380+6*5450，磁盘/数据容量新增30TB/22.5TBNG-1 BASS1.02007应用：搭建数据平台；形成统一数据视图。应用：通过数据集市完成对“地市信息化”工作的支撑；全面支撑数据业务、集团客户、渠道、位置分析等功能；通过营销功能的丰富，提升市场一线支撑能力。应用：优化系统架构；建立信息穿越机制；整合与深化客户分析与运营，提升营销与服务能力；完善业务分析与数据管理功能。应用：建立信息门户，扩展系统使用范围；深化
17、数据集市应用，提升专项业务应用能力；提升系统业务支撑能力，满足各业务部门发展需求；完善经营分析数据质量管理系统，提升数据管理能力。2009NG-1 BASS2.0营销管理平台优化产品分析与运营员工绩效管理数据封装客户标签统一数据视图安全管理中国移动经分两级系统架构经分网络框架经分系统网络拓扑图山西移动经分逻辑架构山西移动数据仓库逻辑架构PTEMP2PCDR2PDATA2KPIMART2RPTMART2PMART2DMMART2BASSDATA2数据仓库系统PVIEW2PMID2（EAI）PSMART2TTEMPPCDE2AgendaBI概要介绍1山西移动业务介绍山西移动经营分析系统山西移动经分
18、关键主题域山西移动经分关键主题域234关键主题域参与人参与人参与人参与人(PAR)(PAR)(PAR)(PAR)客户信息、客户属性、帐户客户关系、TD用户信息、拍照用户信息、帐户信息、黑名单信息、客户统一视图等事件域事件域事件域事件域(EVT)(EVT)(EVT)(EVT)营业业务受理、卡销售受理、特服变更受理、工号操作受理、积分消费受理、交费受理、积分换取预存信息、手机回馈信息等使用行为使用行为使用行为使用行为(BIL)(BIL)(BIL)(BIL)GSM语音、手机电视、会议电话、手机电视、互联短信、IP直通车、梦网短信、KJAVA业务、集团短信、彩铃业务、VPMN语音、呼转语音、IVR本地
19、语音杂志、娱音在线、无线音乐俱乐部短信、WLAN业务等产品域产品域产品域产品域(PDT)(PDT)(PDT)(PDT)产品信息、产品捆绑信息、产品转入转出信息、产品订购、产品生命周期等客户帐务客户帐务客户帐务客户帐务(FIN)(FIN)(FIN)(FIN)用户账单明细、神州行明细帐单、IMEI绑定用户帐单、用户欠费、有线电视分摊等关键主题域集团客户集团客户集团客户集团客户(GRP)(GRP)(GRP)(GRP)集团客户信息、集团成员信息、集团客户投诉、集团彩铃信息、集团客户偏好、集团客户缴费、集团客户业务使用、集团客户产品订购、集团客户收入、集团欠费信息、集团客户价值等结算域结算域结算域结算域
20、(BAL)(BAL)(BAL)(BAL)网内漫游结算、网间短信结算、网间语音结算、与SP结算等资源域资源域资源域资源域(RES)(RES)(RES)(RES)代理商资料表、卡资源表、缴费卡缴费流水表、SIM卡资源、渠道实体代理基础信息表、实体渠道信息、渠道人员信息、终端功能信息、定制终端厂商信息、终端型号信息等营销事件营销事件营销事件营销事件(EAI)(EAI)(EAI)(EAI)营销活动信息、营销活动评估产品信息、营销活动推荐业务类型、营销活动后评估、营销活动执行结果等服务域服务域服务域服务域(SER)(SER)(SER)(SER)WAP掌上营业厅用户访问信息、自助终端使用日志、短信营业厅用
21、户交互事件、呼叫中心客服受理、网上营业厅业务受理、外呼明细、USSD营业厅日志表等关键主题域关系服务通过网络实现/网络支持服务网络产生事件/事件包括网络类产品被销售给客户/参与人使用和管理产品根据行为明细，生成帐务信息事件包含财务类参与人产生和经历事件/事件包括参与人的产品/服务产生事件 事件包括产品类营销产生事件事件实现营销营销被锁定位置/位置定位营销针对特定产品/产品通过营销推向市场为参与人建立帐户、帐单/记录帐户、成本和付款服务使用的帐务信息/帐务记录产品的成本和付款定位网络/网络支持的位置营销的目标针对参与人/参与人是营销的受众包括消费者和运营商在内/位置定位BILLING（消费行为）FINANCE（帐务）Resource（网络资源）PRODUCT（产品）MARKETING（市场营销）LOCATION（地域）PARTY（参与人）EVENT(事件)消费行为具体到客户