《元数据管理-实用.ppt》由会员分享，可在线阅读，更多相关《元数据管理-实用.ppt（33页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、元数据管理冷鹏（2006年编写）2n数据集成技术数据集成技术n 数据展现分析数据展现分析n 数据仓库建模数据仓库建模n 厂商解决方案厂商解决方案n 谈元数据管理谈元数据管理n 数据仓库基础数据仓库基础n 项目开发管理项目开发管理3元数据管理工具元数据管理工具nInformatica MetaManagernDAG MetaCenternIBM MetaStagenOracle OWBnCA Decisionbase Transformern4元数据元数据MDC的开放信息模型的开放信息模型分析与设计（Analysis and Design）对象与组件（Object and Component）数
2、据库与数据仓库（Database and Warehousing）业务工程（Business Engineering）知识管理（Knowledge Management）OMG组织的组织的CWM模型模型UML MOF（元对象设施）XMI（XML元数据交换）5元数据的重要性元数据的重要性及时发现系统变化及时发现系统变化找出需要调整的找出需要调整的ETL程序程序给出仓库中数据和指标的来源及规则给出仓库中数据和指标的来源及规则调整仓库的数据模型调整仓库的数据模型促进项目组成员的沟通促进项目组成员的沟通监控数据质量监控数据质量采用元数据跟用户确认新的需求采用元数据跟用户确认新的需求6技术元数据技术元数
3、据7业务元数据业务元数据8业务专家家元数据元数据开开发人人员项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理分析人分析人员业务定定义如：某销售指标不正确，找出销售指标的计算方法及计算项来源业务专家家9分析人分析人员开开发人人员业务专家家项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理元数据元数据需求分析定需求分析定义如：分析指如：分析指标定定义、报表表定定义、数据来源定、数据来源定义10开开发人人员业务专家家项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理元数据元数据不同开不同开发小小组之之间的交流的交流如：DBA工程师与ETL工程师DBA工程师与BI工程师.分析人分析
4、人员11元数据元数据开开发人人员业务专家家项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理业务管理与信息消管理与信息消费如：数据分析、业务决策、给前系统提出改进建议，对数据仓库系统二期、三期提出更多的业务需求分析人分析人员12开开发人人员业务专家家项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理元数据元数据数据数据仓库项目管理控制目管理控制如：定义项目范围、控制项目风险、评估不同系统集成时产生的影响（影响分析）分析人分析人员13元数据元数据开开发人人员业务人人员项目目经理理架构架构师谁需要元数据谁需要元数据业务经理理项目架构目架构设计如：了解多个业务系统的结构、关联关系，数据转
5、换规则设计.分析人分析人员14元数据的存储区元数据的存储区15数据仓库元数据结构图数据仓库元数据结构图16元数据管理示意图元数据管理示意图EDW（ODS+DW+DM）前端工具前端工具connections元数据元数据数据数据库17Informatica Metadata MangerMetadata Object Browser and Graphical ReportsPowerCenter Integration ServerSuperGlue WarehouseMetadata SourcesSG Integration RepositoryCWM Class MetaModelPres
6、entation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,XPWarehouse-Oracle 8.1.7,9.2.0.1 and above,10g-SQL Server 2000 SP3-DB2 UDB 8.x EE/EEEIntegration Repo-Oracle 8.1.7,9.2.0.1 and above,10g-SQL Server 2000 SP3-DB2 UDB 7.x EE/EEE and aboveREPOSITORIES18Powe
7、rCenter Integration ServerInformatica Metadata ManagerMetadata Object Browser and Graphical ReportsSuperGlue WarehouseSG Integration RepositoryCWM Class MetaModelPresentation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,XPSERVERSPC 7.1.1 Integration ServerP
8、C 7.1.1 on:NT,SOLARIS HP Unix,IBM AIX(PC supported versions)PA 4.1.1 Apps ServerBrowser IE 6.0 using:iPlanet 6.0,IIS 6.0 OR Apache 1.3BEA WL 6.1 SP4 on:-NT 4.0 SP5,NT 2000 SP2,Win 2003-SOLARIS 7.0,8.0-HP Unix 11.0,11i-IBM AIX 4.3,5.1Websphere 5.1 on:-NT 4.0 SP5,NT 2000 SP2,Win 2003-SOLARIS 7.0,8.0-I
9、BM AIX 4.3,5.1Metadata Sources19Informatica Metadata ManagerMetadata Object Browser and Graphical ReportsPowerCenter Integration ServerSuperGlue WarehouseSG Integration RepositoryCWM Class MetaModelPresentation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,X
10、PETL-PowerCenter 5.x,6.x,7.x*-PowerMart 5.x,6.x,7.x*BI-PowerAnalyzer 4.x*-BOBJ 5.0,5.1.x,6.x-COGN Impromptu 7.x-COGN ReportNet 1.x-MSTR Designer 7.x-DB2 CubeViewsXCONNECTS*(on Oracle 8.1.7 and above,SQL Server 2000 SP3 and DB2 7.x EE/EEE and above)Databases-Oracle 8.1.7,9i,10g-SQL Server 2000-Sybase
11、 12.x-TERADATA V2 R5 -DB2 UDB 7.1,7.2,8.1 EE/EEE-IBM Informix 9.2Design Tools-ERwin 3.0 to 3.5.2,4.0 SP1 to 4.1-Oracle Designer 1.3.2,2.1.2,6.0,6i,9i-Sybase PowerDesigner PDM 6.1.x,7.5 to 9.5-IBM Rational ER 98(I)to 2000,2000e to 2002-Microsoft VISIO Database(ERX)-Embarcadero ERStudio 5.1 to 6.0 Met
12、adata Sources20Source definition 源系源系统地址地址,网网络连接接,访问方式方式Location,network connection,access methods计算机系算机系统,操作系操作系统Computer platform definition,operating system definition数据数据库服服务器名器名,访问方式方式,数据数据结构构,有关的表有关的表,列列Database server name,access methods,schema,table,elements of interests源数据源数据库链接接说明明 Source
13、database links逆工程与源系逆工程与源系统设计获取定取定义说明明Reverse engineering and source design capture specification元数据交元数据交换说明明Metadata exchange definition 21Staging area definition 源至暂存区映像（Source-stagingmapping）暂存区至目标区映像Staging-targetmapping中间文件的传输说明Filetransportspecification中间文件的说明及使用Filespecificationandusage中间文件的前
14、后处理(清理与压缩)说明Filepre/posteventprocessingspecification暂存区数据库的前后处理及中间处理说明及使用Stagingdatabaseusageandpre/postprocessspecification22Target modeling definition 星结构Starschema事实表定义说明Facttabledefinition度量Measurement数字键Numerickey交替键Foreignkey索引Indexdefinition定义数据（如数据类型，数值大小和省缺值）有效性制约Validationconstraint数据域值定义D
15、atarangevalidation分区定义说明Partitionspecification存储说明Storagespecification维表定义与说明Dimensiontabledefinition主键Primarykey缓慢变化的维Slowlychangeddimension维的等级/层次Dimensionhierarchy维的共享Dimensionsharing维的版号化Dimensionversioning数据库完整性限定Databaseintegrityconstraints23Target modeling definition 维表定义与说明Dimensiontabledefi
16、nition主键Primarykey缓慢变化的维Slowlychangeddimension维的等级/层次Dimensionhierarchy维的共享Dimensionsharing维的版号化Dimensionversioning数据库完整性限定Databaseintegrityconstraints24Mapping definition 源至目标映像Source-targetmapping基本数据到综合数据的映像Basicdata-summarymapping标准字典Standarddictionary转换字典Conversiondictionary参照表Lookuptables映像表Ma
17、ppingtables25ETL definition 转换规则和方法Conversionruleandmethod数据清洗说明Datacleaningspecifications批作业说明Batchjobspecification加载频率Loadingfrequency累加时间片控制说明Incrementaltimeslicecontrolspecification回退说明与准则Rollbackspecificationandpolicy剥离与修改数据准则Stripandmodificationinbounddatapolicy转换函数库Conversionfunctionlibrary传输
18、定义与说明Transportationdefinition加载定义与说明Loadingdefinition26ETL definition 会期/对话管理定义与说明Sessionmanagementdefinition预定作业排时Scheduling批作业前后事件说明及处理方法Pre-batchandpost-batchjobevents批作业日志Batchlogging会期/对话日志Sessionlog拒收日志Rejectedlog坏数据日志Baddatalog27Summary management definition 事实表/维表至总计方阵映像Fact/dimension-summar
19、ycubemapping总计至总计映像Summary-summarymapping总计方阵设计Summarycubelayout聚合定义说明Aggregatedefinition实体化视图/方阵定义说明Materializedview/cubedefinition方阵间关系Relationshipsbetweencubes嵌入式实体化视图/方阵之间的依赖性Dependencyofnestedmaterializedviews/cubes方阵组Groupingofcubes28Summary management definition 刷新过程的定义与说明Refreshingdefinition
20、刷新前后事件处理说明Pre-refreshingandpostrefreshingevents刷新方法Refreshingmethods刷新组Refreshinggroups刷新执行顺序Refreshingsequence刷新频率Refreshingfrequency刷新过程处理软件Refreshingprocedures刷新作业的监控检查Refreshingmonitoring29OLAP definition 查询机制Queryengine虚拟方阵/视图定义Virtualcube/viewdefinition访问权限管理说明Privilegemanagementspecification用
21、户接口定义与说明Userinterfacedefinition访问方式Accessmethod结果数据提交方法Deliverymethodanddefinition结果数据传输定义与说明Resultsettransportationdefinition用户登入/登出Userlogin/logoff用户活动日志以及出错处理Userlogginganderrorhandling联机分析用户手册OLPAUsermanual30Application Software Specification 软件版号管理与说明Versioncontrol数据库应用版号Databaseapplicationvers
22、ion软件与程序版号Softwareandprogramversion程序与数据的参照所名Function-dataobjectreferences包/过程软件/函数Packages/storedprocedures/functions函数库Functionlibrary元件Components程序调用层次模型定义与说明Hierarchicallevelmodel2-3级结构Architecture2-3-tierstructure程序库Library业务规则定义说明BusinessRuledefinition业务规则表Businessruletables业务规则表与业务政策的联系Associ
23、ationbetweenBusinessruleandbusinesspolicies31Quality control and security definition 安全政策Securitypolicy审计日志Auditlog错误捕捉Errortrapping错误追朔方法及说明Errortracingmethodandspecification数据库访问及网络交通日志Databaseaccessandnetworktrafficlogging32S-ODS ETLS-ODS ETLODS-DW ETLODS-DW ETLDW-DM ETLDW-DM ETLSOURCESOURCEODSODSDWDWDMDMDETAILED INFORMATION:DETAILED INFORMATION:元数据的应用元数据的应用 血缘分析血缘分析33影响分析影响分析ODSODS下的发放贷款金额下的发放贷款金额ODSODS下的实际发放贷款表下的实际发放贷款表ERER模型下的发放贷款金额模型下的发放贷款金额MappingsMappings下的发放贷款金额下的发放贷款金额源系统下的发放贷款金额源系统下的发放贷款金额目标系统下的发放贷款金额目标系统下的发放贷款金额元数据的应用元数据的应用 影响分析影响分析