《Greenplum安装部署参考手册.doc》由会员分享，可在线阅读，更多相关《Greenplum安装部署参考手册.doc（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Greenplum安装部署参考手册Greenplum安装部署参考手册V1.02016年3月目 录第一章 硬件环境部署21.1 服务器与机柜21.2 网络部署21.2.1服务器网络连接21.2.2网卡绑定（bond）推荐模式31.3 raid与文件系统规划31.3.1 Master服务器配置31.3.2 Segment服务器配置4第二章 GP软件环境部署52.1 操作系统环境安装部署52.2.1 BIOS设置开启超线程52.2.2 安装操作系统基础包52.2.3 安装系统语言52.2.4 安装系统工具包62.2.5 开发语言连接驱动82.2.6 时区配置82.2.7 文件系统和分区配置92.2.
2、8 网卡配置102.2.9 操作系统安全配置112.2.10 操作系统用户组和用户132.2.11 网络IP配置142.2.12 对外服务VIP设置152.2.13 集群NTP服务时钟同步配置152.2.14 ssh服务参数调整152.2 操作系统参数设置152.3 数据库系统安装部署18Greenplum软件安装18数据库初始化212.4 数据库参数设置232.5 基准性能测试242.6 后续工作24第一章 硬件环境部署1.1 服务器与机柜服务器器与机柜的摆放应需要充分考虑机器散热的问题，不建议每个机柜都完全放满。1.2 网络部署1.2.1服务器网络连接Greenplum集群内部各节点服务器
3、通过独立的万兆以太网交换机连接，交换机为集群内部私有，配置两台，两台交换机直连，以双活方式工作。每台集群内部服务器需配置两个万兆网口，每个网口连接一个交换机，同时两个万兆网口以mode4 方式邦定，配置一个IP。如下图所示，每台服务器的第一张网卡都连接到一台交换机上，同理另一张网卡都连接到另一台交换机上。两台交换机之间也需要互联，双活方式工作。示意图如下：另外，Greenplum数据库集群的管理节点Maser/standby机器，需要与上层业务网络互连，作为集群访问的入口，具体连接方式根据客户环境网络情况确定，同时需要综合考虑后续文件服务器、ETL服务器等的网络连接情况。1.2.2网卡绑定（b
4、ond）推荐模式为了达到网络带宽的最大化，建议两块万兆网卡采用Active-Active的方式进行绑定，具体绑定参数设置如下：BONDING_OPTS=mode=4 miimon=100 xmit_hash_policy=layer3+4其对应具体算法如下：layer3+4： (source port XOR dest port) XOR (source IP XOR dest IP) AND 0xfff参考EMC DCA一体机的配置如下：BONDING_OPTS=miimon=100 mode=4 xmit_hash_policy=1两者实际是一样的：MODULE_PARM_DESC(xmi
5、t_hash_policy, balance-xor and 802.3ad hashing method: 0 for layer 2 (default), 1 for layer 3+4, 2 for layer 2+3)1.3 raid与文件系统规划1.3.1 Master服务器配置Master为1张阵列卡，6块2.5寸的900GB的10000转速的sas硬盘。其中2块硬盘做一组RAID10安装操作系统，剩下4块硬盘做成1个RAID5磁盘组。如下图所示：1.3.2 Segment服务器配置Segment服务器配置为1张阵列卡，24块2.5寸的900GB 的10000转速的sas硬盘。每台
6、服务器2块硬盘做一组RAID10安装操作系统，预留两块盘作为全局热备盘，剩下20块硬盘分为2组，做成2个RAID5磁盘组。RAID组条带大小为128KB，写cache策略为“WRITE BACK”，读磁盘策略设置为“READ AHEAD”，电池充放电时写磁盘策略仍为“WRITE BACK”。如下图所示：第二章 GP软件环境部署2.1 操作系统环境安装部署2.2.1 BIOS设置开启超线程进入BIOS功能界面，开启BIOS 超线程验证BIOS超线程设置合规性：A: grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/
7、cpuinfo |wc l检查结果：步骤B执行结果是步骤A的两倍。操作系统安装设置2.2.2 安装操作系统基础包操作系统版本：Redhat Enterprise Linux Server 6 (64bit) 以上版本要求：选择“最小”软件组方式安装Red Hat Enterprise Linux选中“现在自定义”选项，选择安装其他系统工具包。验证操作系统版本合规性：执行命令：uname a执行结果(例)：Linux by19sorsvdb1001 2.6.32-279.e16.x86_64 2.2.3 安装系统语言要求：操作系统安装过程中，请安装以下语言支持。POSIX C和 en_US.ut
8、f8 locales 在安装操作系统时安装。即The POSIX C and en_US.utf8 locales must be installed during the OS installation. Additional locales may be installed as necessary to suit the customer.以 English(English)作为操作系统安装/登录时采用的语言。除英文环境，在安装附加语言支持时，选择简体中文。即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文语言包需要在安装操作系统时一并安
9、装。验证语言支持包合规性：执行命令：locale a执行结果：POSIX_Cen_US.UTF-8zh_CN.UTF8zh_CN.gbkzh_CN.gb18030zh_CN.BIG5.2.2.4 安装系统工具包组件名称组件功能版本要求验证检查Kdump系统信息转储工具与操作系统相同版本Service kdump statusWhich kdumpNtp时间同步服务与操作系统相同版本Service ntpd statusPerlPerl语言工具包与操作系统相同版本Perl -versionTcpdump网络数据采集分析工具与操作系统相同版本which TcpdumpUnzip/zlib5 解压工
10、具与操作系统相同版本which UnzipXfsdumpXfs文件系统工具与操作系统相同版本which XfsdumpXfsprogsXfs文件系统工具与操作系统相同版本which xfssprogsed.x86_64Ed编辑器与操作系统相同版本which edjdk-6u43-linux-x64-rpmJdk工具，从Oracle下载安装与操作系统相同版本jdk versionipmi/ipmitool远程管理诊断工具与操作系统相同版本ipmitool -VGdb程序运行时调试工具与操作系统相同版本which gdbPstack程序运行时调试工具（依赖于gdb）与操作系统相同版本which p
11、stackNmon系统性能监测工具与操作系统相同版本which nmonhtop系统性能监测工具与操作系统相同版本which htopiotop磁盘io监控工具与操作系统相同版本which iotopnethogs网络监控工具与操作系统相同版本which nethogsmegacli磁盘监控工具与操作系统相同版本which megaclilsinfo磁盘监控工具与操作系统相同版本which lsofifstat网络监控工具与操作系统相同版本which ifstatbbcp网络拷贝工具与操作系统相同版本which bbcpallgpgp监控工具与gp数据库版本相同which allgpchhba
12、修改底下节点pg_hba.conf工具与gp数据库版本相同which chhba2.2.5 开发语言连接驱动开发语言连接数据库需要特定的驱动，目前Greenplum与第三方开发语言连接方式有如下规范：Greenplum自带C/C+开发语言驱动，不需要安装任何驱动。Greenplum自带JDBC/ODBC连接驱动，开发语言可通过JDBC或ODBC连接数据库，例如 Java开发语言可通过JDBC连接数据库。对于自带有JDBC/ODBC连接驱动的开发语言，可直接通过自身的JDBC/ODBC连接数据库Python与Perl开发语言不能通过JDBC/ODBC连接数据库，需通过DBD连接，则要在安装操作系
13、统完成后独立部署安装。例如LDS与SOR数据库集群开发语言是Perl，则是需要安装如下DBD驱动软件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.el6.x86_642.2.6 时区配置配置时区要求如下：选择时区为东八区“亚洲/上海 - 中国东部”Asia/ShanghaiEast China Beijing，Guangdong，Shanghai，etc.系统时钟不使用UTC验证时区配置合规性：执行命令：date执行结果：Wed Nov 13 11:07:09 CST
14、 20132.2.7 文件系统和分区配置操作系统使用的文件系统，包括根目录、tmp目录、home目录都采用ext3或者ext4；GP数据库使用的文件系统都采用xfs文件系统，并且需要配置挂载参数“rw,noatime,inode64,allocsize=16m”。由于master和segment主机配置不相同，在划分分区，格式化文件系统，文件系统挂载都有差异，具体操作如下：【master服务器】：1、在独立的raid5组上创建gpt分区：parted -s /dev/sdb mklabel gptparted - /dev/sdb mkpart primary 0GB -1 partprobe
15、 /dev/sdb2、格式化分区mkfs -t xfs -f -L /data /dev/sdb13、vi /etc/fstab，增加挂载点配置，路径为/dataLABEL=/data /data xfs rw,noatime,inode64,allocsize=16m 0 04、挂在文件系统mount /data【segment服务器】：1、在独立的raid5组上创建gpt分区：parted -s /dev/sdb mklabel gptparted - /dev/sdb mkpart primary 0GB -1 partprobe /dev/sdbparted -s /dev/sdc m
16、klabel gptparted - /dev/sdc mkpart primary 0GB -1partprobe /dev/sdc2、格式化分区mkfs -t xfs -f -L /data1 /dev/sdb1mkfs -t xfs -f -L /data2 /dev/sdc13、vi /etc/fstab，增加挂载点配置，路径为/data1和/data2LABEL=/datat1 /datat1 xfs rw,noatime,inode64,allocsize=16m 0 0LABEL=/datat2 /datat2 xfs rw,noatime,inode64,allocsize=1
17、6m 0 04、挂在文件系统mount /data1mount /data2验证分区Disk Layout合规性：执行命令：df h 检查数据盘cat /proc/swaps 检查swap分区mount 检查分区挂载情况，对应xfs的挂载参数如下：/dev/sdf on /data1 type xfs (rw,noatime,inode64,allocsize=16m)2.2.8 网卡配置Greenplum集群各个节点网卡采用双网卡绑定的模式ifcfg-bond0BONDING_OPTS=miimon=100 mode=4 xmit_hash_policy=1BOOTPROTO=staticD
18、EVICE=bond0IPV6INIT=noNM_CONTROLLED=noONBOOT=yesIPADDR=172.28.8.250NETMASK=255.255.252.0ifcfg-eth4DEVICE=eth4NM_CONTROLLED=noONBOOT=yesMASTER=bond0SLAVE=yesifcfg-eth5DEVICE=eth5NM_CONTROLLED=noONBOOT=yesMASTER=bond0SLAVE=yes2.2.9 操作系统安全配置关闭防火墙和SELinux在操作系统安装过程中，关闭操作系统自带防火墙。chkconfig iptables offserv
19、ice iptables stop关闭SELinux，设置/etc/selinux/config文件中SELINUX=disabled。关闭不必要的服务关闭所有不需要的服务，减少这些服务对系统资源的占用。部分 LINUX 服务信息如下：系统服务名称进程摘要建议abrt-ccppC/C+程序问题收集工具关闭AbrtdAutomatic Bug Reporting Tool关闭abrt-oops内核严重异常信息收集工具关闭AcpidACPID事件监听和分发进程关闭Atd定时任务进程关闭Auditd系统审计进程关闭AutofsAufofs管理进程关闭avahi-daemon本地网络服务查找关闭Blu
20、etooth蓝牙协议守护进程关闭Certmonger认证期限监控关闭CpuspeedCpu速率调整进程关闭Crond定时任务进程打开CupsCups打印机进程关闭Firstboot系统首次启动时的配置关闭Haldaemon硬件信息维护和管理进程关闭ip6tablesipv6包过滤软件防火墙进程关闭Iptables包过滤软件防火墙进程关闭Irqbalance中断平衡进程打开lvm2-monitorlvm 的mirror监控进程关闭Mdmonitor软RAID监控进程关闭MessagebusDBUS消息总线进程关闭Netfs网络文件系统进程关闭Network网络进程打开NetworkManager
21、网络自动管理进程关闭NfslockNfs锁机制进程关闭PortreserveRPC服务相关关闭Postfix电子邮件服务关闭Rhnsd操作系统自动更新进程关闭Rhsmcertd在线更新订阅状态信息关闭RpcbindRPC服务相关关闭Rpcgssd针对nfsv4客户端管理 RPCSEC GSS contexts进程关闭RpcidmapdRPC名字与UID/GID映射进程关闭Rsyslog系统日志进程打开Sshd系统日志进程打开Sysstat系统统计信息进程打开udev-post设备管理系统关闭Ipmi远程诊断打开禁止不用的用户登录系统生成的默认用户，如 ftp、nobody、lp 等，默认情况下
22、这些用户不可登录系统。配置 security 参数序号参数参数名称default建议值调整原则与注释1Umaskumaskumask = 022umask = 022增强安全性2TMOUT登录shell超时设置未设置编辑/etc/profile文件TMOUT=120export TMOUT增强安全性用户密码安全新创建用户前，先配置/etc/login.defs文件中的账户安全规则PASS_MAX_DAYS = 60（root用户除外）PASS_MIN_LEN = 8PASS_WARN_AGE = 7配置/etc/pam.d/system-auth文件中的密码安全规则minlen = 6minc
23、lass = 2remember = 10deny = 10unlock_time = 300备注：密码过期之前一定要修改2.2.10 操作系统用户组和用户创建用户组与用户组GID用户UID主目录说明gpadmin3030gpadmin3030/home/gpadmingp系统用户gpmon3040gpmon3040/home/gpmongp监控用户设置用户初始密码Gpadmin用户的密码为xxxxGpmon用户的密码为xxxx2.2.11 网络IP配置按照数据仓库系统集群IP 对应关系，配置所有节点的/etc/hosts文件，要求将所有节点的IP、服务器别名与服务器名都编辑到/etc/hos
24、ts文件，格式如下：内部IP 服务器别名 服务器名内部IP 服务器别名 服务器名外部IP 服务器别名 服务器名 例如LDS数据库集群/etc/hosts文件配置如下：11.168.158.35 by19ldssvdb1001-1 by19ldssvdb100111.168.158.35 by19ldssvdb1001-211.170.158.35 by19ldssvdb1001-ext11.168.158.36 by19ldssvdb1002-1 by19ldssvdb100211.168.158.36 by19ldssvdb1002-211.170.158.36 by19ldssvdb100
25、2-ext11.168.158.37 by19ldssvdb1003-1 by19ldssvdb100311.168.158.37 by19ldssvdb1003-211.170.158.37 by19ldssvdb1003-ext11.168.158.167 by19ldssvdb1133-1 by19ldssvdb113311.168.158.167 by19ldssvdb1133-211.170.158.167 by19ldssvdb1133-ext11.168.158.168 by19ldssvdb1134-1 by19ldssvdb113411.168.158.168 by19lds
26、svdb1134-211.170.158.168 by19ldssvdb1134-ext2.2.12 对外服务VIP设置确定集群对外提供服务的vip，如对外服务的ip地址为11.168.156.27，需要在master节点的对外提供的网卡上加上vipifconfig bond0:0 11.168.156.27 netmask 255.255.255.192 broadcast 11.168.156.63并将上述命令加到master节点的开机启动脚本中：/etc/rc.d/rc.local中2.2.13 集群NTP服务时钟同步配置集群NTP服务配置要求：选定时间同步服务器节点，然后编辑/etc/
27、ntp.conf，输入时间同步服务器节点IP地址。例如LDS数据库集群，Master管理节点与Segment数据节点作为Client节点，配置如下:vi /etc/ntp.confserver 11.155.55.44 preferserver 11.155.55.40server 11.155.55.42验证集群NTP服务配置合规性：执行命令：Service ntpd status执行结果：Ntpd (pid 5091) is runninggpssh h 跳到所有节点，然后执行date所有节点的时间是否一致2.2.14 ssh服务参数调整 修改/etc/ssh/sshd_config，修改
28、maxstartups参数为MaxStartups 100002.2 操作系统参数设置设置类型内容硬盘调度算法elevator=deadline内核参数设置方法修改/boot/grub/menu.lst 找到 kernel /vmlinuz-xxx 这一行，在最后添加 elevator=deadline检查/验证方法系统启动正常后，执行 cat /sys/block/*/queue/scheduler应能看到：noop anticipatory deadline cfq系统运行级别 = 3系统设置设置方法在/etc/inittab文件中，将行id:5:initdefault改成：id:3:in
29、itdefault检查/验证方法执行 cat /etc/inittab应能看到：id:3:initdefault磁盘预读取block readahead = 16384 (所有硬盘)系统设置设置办法修改/etc/rc.d/rc.local 增加两行blockdev -setra 16384 /dev/sd*检查办法系统重启后运行blockdev -getra /dev/sd*blockdev -getra /dev/vg0/*应都是16384语言与字符集language=en_US.UTF-8系统设置设置办法系统安装时指定。检查办法登录系统，执行命令 locale结果应该是 en_US.UTF
30、-8Sysctl.conf系统设置设置办法修改/etc/sysctl.conf，增加以下内容：xfs_mount_options = rw,noatime,inode64,allocsize=16mkernel.shmmax = 1000000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.msgmni =
31、 2048net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000net.core.rmem_max = 2097152net.core.wmem_m
32、ax = 2097152vm.overcommit_memory = 2kernel.core_pattern=/home/coredump/core.%e.%p.%t.%s.%u.%g然后执行sysctl -p。检查办法用 sysctl ，检查上述各参数是否匹配。用户资源限额系统设置设置办法修改 /etc/security/limits.conf增加以下几行：* soft nofile 1048576* hard nofile 1048576修改 /etc/security/limits.d/90-nproc.conf增加以下几行：* soft nproc 1048576* hard npr
33、oc 1048576检查办法用任意普通用户登录，执行ulimit -a，检查上述参数是否匹配。磁盘IO参数Hugepage系统设置设置办法修改/boot/grub/grub.conf在kernel(写elevator=deadline同一行)末尾加上transparent_hugepage=never，保存退出 检核办法cat /sys/kernel/mm/redhat_transparent_hugepage/enabled显示：always never2.3 数据库系统安装部署Greenplum软件安装软件与相关工具清单greenplum-db-4.2.8.1 greenplum-cc-w
34、eb-2.0关闭不需要的服务（所有节点）防火墙用以下命令关闭防火墙service iptables saveservice iptables stopchkconfig iptbales offservice ip6tables saveservice ip6tables stopchkconfig ip6tables off其他需要关闭的服务chkconfig avahi-daemon offchkconfig avahi-dnsconfd offchkconfig conman offchkconfig bluetooth offchkconfig cpuspeed offchkconfi
35、g setroubleshoot offchkconfig hidd offchkconfig hplip offchkconfig isdn offchkconfig kudzu offchkconfig yum-updatesd off启动IPMI服务(所有节点)（IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。如果没有安装相关服务，建议安装），执行以下命令：service ipmi start chkconfig ipmi onMaster节点安装和多机信任软件安装软件安装目录
36、：/usr/local/在Master节点上，以root用户执行，按照提示进行安装。unzip greenplum-db-4.3.8.1-build-1-RHEL5-x86_64.zip/bin/bash greenplum-db-4.3.8.1-build-1-RHEL5-x86_64.bin当安装程序中提示要求“accept the Greenplum Database license agreement”，输入“yes”接受许可协议。当安装程序中提示要示“provide an installation path”，按“ENTER”接受默认安装路径“/usr/local/greenplum
37、-db-4.2.8.1”，如果想重新指定安装路径，则直接输入安装路径。注意，重新指定安装路径的目录需要保证具有写的权限。当安装程序提示“provide the path to a previous installation of Greenplum Database”，直接按“ENTER”跳过该步骤。安装程序为Greenplum软件安装目录创建符号链接greenplum-db指向Greenplum安装目录，安装目录可由$GPHOME代替。安装程序提示安装成功。验证软件安装：which postgres检查结果：/usr/local/greenplum-db/bin/postgres修改root
38、用户环境变量配置 修改root用户home的/.bashrc配置文件，增加source /usr/local/greenplum-db/greenplum_path.shroot用户建立多机信任使用root用户在Master主机上操作:gpssh-exkeys -f ./all-nodes（所有节点主机名）验证配置：选择某个节点，从master通过ssh命令连接，不输入任何密码。 检查结果：可正常连接被信任节点Greenplum节点数据目录在相应节点按如下表的数据目录规则创建目录，并授予gpadmin用户所有操作权限。节点数据目录目录属主权限目录用途验证方式Master/Standby Mas
39、ter/data1/mastergpadmin所有节点数据目录ls -lr /data1/masterSegment/data1/primarygpadmin所有节点数据目录ls -lr /data1/primarySegment/data1/mirrorgpadmin所有节点数据目录ls lr /data1/mirrorSegment/data2/primarygpadmin所有节点数据目录ls -lr /data2/primarySegment/data2/mirrorgpadmin所有节点数据目录ls lr /data2/mirror修改gpadmin用户环境变更配置【Master和St
40、andby Master主机】：修改 /.bashrc文件，添加如下内容：source /usr/local/greenplum-db/greenplum_path.shMASTER_DATA_DIRECTORY=/data1/master/gpseg-1export MASTER_DATA_DIRECTORY （gpstart默认启动的目录）【Segment主机】：修改 /.bashrc文件，添加如下内容：source /usr/local/greenplum-db/greenplum_path.shgpadmin用户建立多机信任使用gpadmin用户在Master主机上操作:gpssh-e
41、xkeys -f ./all-nodes（所有节点主机名）验证配置：选择某个节点，从master通过ssh命令连接，不输入任何密码。 检查结果：可正常连接被信任节点。其它Segment节点安装在Master节点上，以root用户身份，执行以下命令：. /usr/local/greenplum-db/greenplum_path.shgpseginstall -f ./stby_all_segs（所有segment数据节点与standby master管理节点主机名）数据库初始化在Master节点上以gpadmin用户身份完成以下各小节安装。数据库初始化配置文件创建文件 gpinitsystem
42、_config 内容如下：ARRAY_NAME= DW SEG_PREFIX=gpseg PORT_BASE=40000 declare -a DATA_DIRECTORY=( /data1/primary /data1/primary /data2/primary /data2/primary)MASTER_HOSTNAME=xxxMASTER_DIRECTORY=/data1/masterMASTER_PORT=5432 TRUSTED_SHELL=ssh CHECK_POINT_SEGMENTS=32ENCODING=UNICODEMIRROR_PORT_BASE=50000 REPLI
43、CATION_PORT_BASE=41000 MIRROR_REPLICATION_PORT_BASE=51000 declare -a MIRROR_DATA_DIRECTORY=(/data1/mirror /data1/mirror /data2/mirror /data2/mirror)分机柜部署时，通过先初始化primary再通过gpaddmirror的方式进行部署初始化数据库执行命令gpinitsystem -c ./gpinitsystem_config -h hosts-nodes （所有节点主机名）-s smdw(master standby节点)按提示操作。修改 /.bas
44、hrc 文件，增加一行：export MASTER_DATA_DIRECTORY=/data1/master/gpseg-1退出系统并重新以gpadmin登陆2.4 数据库参数设置Greenplum数据库参数影响系统的运行的性能状态，合理设置数据库参数可让系统运行达到最优状态。在多数的数据库系统中，都会有一个配置文件用以配置数据库参数。在GPDB中，该配置文件即为postgresql.conf。 数据库参数的设置与业务应用密不可分。不同的业务类型，决定着关键参数的值，同时合理参数值也就决定着数据库系统的性能优劣。不仅如此，业务数据的需求也决定着数据库系统的设置。对于实例创建成功而不可更改的或者修改代价比较大的参数，必须慎重考虑，