《江西经营分析数据库物理设计.doc》由会员分享，可在线阅读，更多相关《江西经营分析数据库物理设计.doc（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、江西移动经营分析系统一期版本号：0.3.0物理设计说明书编号：BOSS-JYFX-WLSJ-1-0江西移动经营分析系统物理设计说明书文档编号：BOSS-JYFX-WLSJ-1-0创建日期：2003-02-21最后修改日期：2003-08-05版 本 号：0.3.0电子版文件名：江西经营分析系统物理设计说明书.DOC文档修改记录修改日期修改人修改说明版本号2003-06-15创建0.1.0目 录1引言41.1编写目的41.2背景介绍41.3术语定义41.4参考资料42总体设计42.1设计目标42.2系统拓扑结构43ETL、OLAP和DM物理设计53.1ETL设计53.1.1ETL环境53.1.2
2、ETL空间划分63.2OLAP设计63.2.1OLAP环境63.2.2OLAP空间划分63.3DM设计63.3.1DM环境63.3.2DM空间划分64数据仓库安装与配置74.1数据库环境74.2数据库的启动参数74.3数据库的启动文件84.4用户环境变量设置95数据仓库物理设计105.1设计目标105.2分区设计105.3表空间设计105.3.1表空间设计及存储分配105.3.2Tabspace的物理存储划分设计115.4用户及权限设计126数据备份136.1ETL备份136.2OLAP备份136.3DM备份136.4DB2数据仓库备份13江西移动通信有限责任公司第 13 页 共 13 页20
3、03-6-171 引言1.1 编写目的本文档提供了江西经营分析系统的项目实施与配置说明，包括整个系统的拓扑结构、系统的软、硬件配置、存储设备的分配以及数据仓库的物理设计，可以作为系统初始实施的要求。1.2 背景介绍1.3 术语定义1.4 参考资料江西经营分析系统软、硬件购货合同2 总体设计2.1 设计目标2.2 系统拓扑结构 整个系统的拓扑结构图如下：3 ETL、OLAP和DM物理设计系统安装：江西经营分析系统的硬件配置中，主机平台：两台S85（利旧），一台H85（配置不明）。具体安装分配如下：DB2多节点版本安装在两台S85上OLAP Server 和DataStage分别安装在S85上Da
4、taMinner安装在H85上；具体的磁盘空间分配参考下面的说明。3.1 ETL设计3.1.1 ETL环境DataStage版本：DataStage 5.2 for AIX 4.3操作系统：AIX 4.3硬件环境：S85 (利旧)存储环境：EMC Symmetrix 8530 3.1.2 ETL空间划分根据ETL的特点，在文件系统上存储ETL数据。以江西每月150G话单（含短信）计算，ETL在处理过程中要生成临时文件，对处理后的数据保留一段时间，在加上一定空间冗余。所以ETL的存储空间划为1T。 3.2 OLAP设计3.2.1 OLAP环境OLAP版本：IBM OLAP server 7.1
5、for AIX 4.3操作系统：AIX 4.3硬件环境：IBM S85(利旧)存储环境：EMC Symmetrix 85303.2.2 OLAP空间划分OLAP数据以文件系统方式存储。OLAP数据占用空间500G，冗余空间268G，共划分768G。3.3 DM设计3.3.1 DM环境DM版本： IBM IM 6.1 for AIX 4.3操作系统：AIX 4.3硬件环境：IBM H85(配置不明)存储环境：EMC Symmetrix 85303.3.2 DM空间划分DM数据以文件系统方式存储，文件系统存储15个模型，每个模型大小20G，共300G冗余36G，共336G；宽表存储在数据库中，按1
6、5张算，每个占5G，共75，冗余5G，共80G。4 数据仓库安装与配置4.1 数据库环境数据库版本：IBM DB2 EEE 7.2 for AIX 4.3操作系统：AIX 4.3硬件环境：2台S85（利旧）存储环境：EMC Symmetrix 8530安装概述1、 按照数据仓库物理设计，生成相应的裸设备和文件系统。2、 为按照DB2准备好相应的文件系统（产品安装在/usr/lpp目录下，其他目录可以指定）；3、 用root登陆，mount CD-ROM；4、 进入CD_ROM的mount目录，执行db2setup；5、 按照安装程序的提示，安装相关的产品，生成相关的用户，建立相关的instan
7、ce；6、 修改节点配置文件（db2node.cfg）；7、 启动FCM程序（修改/etc/services）；8、 修改系统参数；9、 允许远程执行命令（修改/etc/hosts.equiv或.rhost文件）；10、 按照数据仓库物理设计，建立数据库；11、 启动数据库。4.2 数据库的启动参数数据库参数：1、 DB2注册变量：db2set DB2_PARALLEL_IO=*;db2set DB2_HASH_JOIN=YES;db2set DB2_RR_RS=YES; db2set DB2COMM=TCPIP;db2set DB2_FORCE_FCM_BP=TRUE2、 数据库管理程序参数
8、：db2_all “| db2 update dbm cfg using INTRA_PARALLEL YES”db2_all “| db2 update dbm cfg using ASLHEAPSZ 60”db2_all “| db2 update dbm cfg using SHEAPTHRES 125000”db2_all “| db2 update dbm cfg using MAX_QUERYDEGREE 1”db2_all “| db2 update dbm cfg using NUMDB 2”db2_all “| db2 update dbm cfg using MAXAGEN
9、TS 100”db2_all “| db2 update dbm cfg using BACKBUFSZ 16384 RESTBUFSZ 16384”;3、 数据库参数：db2_all “| db2 update db cfg for zmccdw using NUM_IOSERVERS 6”db2_all “| db2 update db cfg for zmccdw using NUM_IOCLEANERS 1”db2_all “| db2 update db cfg for zmccdw using DBHEAP 2048”db2_all “| db2 update db cfg for
10、 zmccdw using CATALOGCACHE_SZ 512”db2_all “| db2 update db cfg for zmccdw using LOGBUFSZ 256”db2_all “| db2 update db cfg for zmccdw using SORTHEAP 65536”db2_all “| db2 update db cfg for zmccdw using APPLHEAPSZ 256”db2_all “| db2 update db cfg for zmccdw using DFT_QUERYOPT 7”db2_all “| db2 update db
11、 cfg for zmccdw using DFT_DEGREE 1”db2_all “| db2 update db cfg for zmccdw using DFT_PREFETCH_SZ 48”db2_all “| db2 update db cfg for zmccdw using LOCKLIST 1024”db2_all “| db2 update db cfg for zmccdw using LOCKTIMEOUT 60”db2_all “| db2 update db cfg for zmccdw using MAXAPPLS 10”db2_all “| db2 update
12、 db cfg for zmccdw using PCKCACHESZ 1600”db2_all “| db2 update db cfg for zmccdw using UTIL_HEAP_SZ 51200”db2_all “| db2 update db cfg for zmccdw using DLCHKTIME 500000”db2_all “| db2 update db cfg for zmccdw using NEWLOGPATH /home/db2nfs/db2inst1/db2log”db2_all “| db2 update db cfg for zmccdw using
13、 LOGFILSIZ 65535”db2_all “| db2 update db cfg for zmccdw using LOGPRIMARY 48 LOGSECOND 0”db2_all “| db2 update db cfg for zmccdw using SOFTMAX 1600”db2_all “| db2 update db cfg for zmccdw using CHNGPGS_THRESH 80”db2_all “| db2 update db cfg for zmccdw using BUFFPAGE 16384”4.3 数据库的启动文件SQLDBCON：数据库配置文
14、件，存储数据库的调整参数和标志。SQLOGCTL.LFH：日志控制文件，跟踪和控制所有数据库日志文件。SQLSPCS.1：表空间文件，包含数据库所有表空间定义和当前状态。SQLSPCS.2：SQLSPCS.1的副本。SQLBP.1：缓冲池文件，包含数据库所有缓冲池定义。SQLBP.2：SQLBP.1的副本。DB2RHIST.ASC：数据库历史文件，保存对数据库执行的管理操作的历史记录。DB2RHIST.BAK：DB2RHIST.ASC的备份。注意：以上文件均为DB2内部格式文件，只能通过相应的DB2命令修改，千万不能用文本编辑器直接修改！4.4 用户环境变量设置PATH=/usr/bin:/e
15、tc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin:/usr/local/bin:.export PATHif -s “$MAIL” # This is at Shell startup. In normalthen echo “$MAILMSG” # operation, the Shell checksfi # periodically.# The following three lines have been added by UDB DB2.If -f /home/db2inst1/sqllib/db2profile ; then. /
16、home/db2inst1/sqllib/db2profilefi# Warehouse manager envODBCINI=/home/db2inst1/.odbc.iniVWS_LOGGING=/home/db2inst1export ODBCINI VWS_LOGGING# Endset o viDB2 EEE安装完毕之后回生成2个用户环境变量配置文件：db2profile（for Bourne shell or Korn shell）和db2cshrc（for C shell），只需要直接引用就可以，无需更改。需要访问DB2 EEE的用户只需要在他的profile增加以下脚本即可：#
17、 The following three lines have been added by UDB DB2.If -f /home/db2inst1/sqllib/db2profile ; then. /home/db2inst1/sqllib/db2profilefi5 数据仓库物理设计5.1 设计目标1、 高可用性：充分利用RAID技术，某块物理存储介质出现问题，不影响整个系统的运行；利用SAN和DB2 EEE的特性，对重要数据进行多重保护；在硬件条件具备的条件下，不出现单点故障。2、 高性能：合理的设计tabspace，平衡I/O；恰当配置系统和DB2 EEE参数，充分发挥SMP多CPU
18、和大内存的优势充分利用DB2 EEE特有的数据仓库的技术，充分发挥DB2 EEE的优势3、 具备良好的扩展性：能够容易利用新添加的主机；能够容易利用新添加的存储设备。4、 易于维护：能够方便、快速地将过期历史数据从运行数据库中备份、清除；在发现正在装载的数据出错后，能够快速地将正在装载的数据清除；根据实际使用情况，能够方便地在各个 tabspace 之间调配空间；备份与恢复时间最小化。5.2 分区设计DB2 EEE可以在一台主机上划分多个分区，多个主机上的多个分区可组成一个完整的 server。DB2 EEE在并行处理方面很有特色：系统不但能够充分利用硬件资源，而且具备良好的可扩展性。5.3
19、表空间设计5.3.1 表空间设计及存储分配根据DB2 EEE的特点以及数据的特点，设计以下tabspace：catalog ：目录表空间，存放数据的系统表（catalog information）;temp：临时表空间，pagesize要与所有表空间中最大的pagesize对应，可以根据需要设计多个；系统log：数据库log存储设备。Tbs_index：索引表空间，DB2 EEE中索引的作用很大，需要建立独立的表空间，与数据的物理I/O分开；tbs_dim：维表表空间，存放所有维表；tbs_cdr：计费详单表空间，存放所有CDR，pagesize可以比较大（32K）；tbs_cdr_comp：
20、竞争详单表空间，存放所有竞争CDR,pagesize可以比较大（32K）；tbs_cust：客户资料表空间，存放普通客户资料和大客户资料；tbs_fact：亚信事实表表空间；tbs_agg：亚信汇总表空间，存放汇总数据；tbs_default：用户缺省表空间。5.3.2 Tabspace的物理存储划分设计TableSpace容量分片方式备注CATALOG1.8751container*1.875G系统tbs,只存在一个节点TBS_TEMP1808partition*4container*5.625G临时tbsTBS_LOG1208partition*15G系统logTBS_INDEX1208p
21、artition*4container*3.75G索引tbsTBS _DIM3.751partition*3.75G维表tbs, 只存在一个节点TBS _CDR2520(8partition*4container*11.25G)*7月普通详单tbs，包括所有计费详单（备注一）TBS _COMP840(8partition*4container*3.75G)*7月竞争对手详单tbs，包括所有语音和短信TBS _CUST1808partition*4container*5.625G客户资料（包括大客户）tbsTBS _FACT3608partition*4container*11.25G亚信事实表
22、tbsTBS _AGG3608partition*4container*11.25G亚信汇总表tbsTBS _CALL3608partition*4container*11.25G保存呼叫数据TBS _DM1208partition*4container*3.75G数据挖掘宽表数据TBS _DEFAULT608partition*4container*1.875G用户缺省tbs合计5225.625总量5385剩余159.3755.4 用户及权限设计系统分为以下几种权限角色：1、 DBA角色：具有数据库所有权限；可以通过实例配置变量中的SYSADM_GROUP参数来指定一个用户组拥有该权限，如：
23、db2set SYSADM_GROUP=dba然后把用户加入dba组里。有以下用户：db2inst1：数据库的缺省安装用户。dw：数据库的建库用户。2、 日常维护、运行角色：具有运行所需权限，如Load、create table、select等；可以通过指定一个用户组拥有DBADM权限，如：GRANT LOAD ON DATABASE TO GROUP maintenance; GRANT CREATETAB ON DATABASE TO GROUP maintenance;GRANT SELECT ON TABLE table_name TO GROUP maintenance;有以下用户：
24、db2main3、 LOAD用户角色：具有Load的权限和insert相关表的权限。GRANT LOAD ON DATABASE TO GROUP load;GRANT INSERT ON TABLE table_name TO GROUP load;有以下用户：load：日常load工作。4、 外部访问角色：具有只读访问部分表的权限。GRANT ON SCHEMA interface TO GROUP outer;GRANT SELECT ON TABLE table_name TO GROUP outer;有以下用户：outer：外部访问用户。DB2 EEE自己没有用户，使用的操作系统本身
25、的用户，通过DBA授权获得各种权限，可以根据不同的权限，建立不同的系统组。针对表一级的授权，可以通过不同的Schemal来实现批量的授权。6 数据备份数据备份包括对ETL、OLAP、DM和DB2软件、文件系统及表空间等数据的备份；一般情况下，建议每月备份一次；对于日分析的数据每天备份一次。以下列出了需要备份的软件及数据清单。6.1 ETL备份DataStage软件：对安装目录每月备份一次；开发的JOB备份：每天备份一次；ETL BOSS数据源备份：每月备份一次。6.2 OLAP备份DB2 OLAP软件、CUBE数据（包括开发脚本）：对安装目录每月备份一次；如果开发脚本改动，及时备份。6.3 DM备份IBM DB2 IM软件及数据：每月备份一次；DM宽表数据备份：对tablespace备份，每月备份一次；6.4 DB2数据仓库备份IBM DB2软件备份：备份一次，如有改动，再备份；数据库表数据备份：备份tablespace或将表数据export出来，按日或月增量备份。数据库表的备份详细说明见江西经营分析系统数据备份表说明.doc。补充说明：另外，移动要求把思特奇的经营分析的历史数据也保存在这边的经营分析系统中，目前的数据容量是80G，在数据库中留100G来保存思特奇的历史数据。