《2021年大数据技术-大数据平台部署文档.docx》由会员分享，可在线阅读，更多相关《2021年大数据技术-大数据平台部署文档.docx（96页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据平台部署手册编-7Fy写:日期:检査:日期:审核:日期:批准:日期:文档变更记录序号变更(+/-)说明作者版本号日期批准121 .引言31.1 编写目的和范围31.2 术饴表31.3 参考资料31.4 使用的文字处理和绘图工具32 .平台通用说明42.1 平台所用系统说明42.2 平台所使用的用户说明42.3 平台所使用的安装目录说明42.4 平台组件部署说明42.5 拷贝安装包到指定目录43 . Hadoop 部署43.1 Linux环境配置53.1.1 修改主机名53.1.2 关闭防火墙103.1.3 关闭 selinux123.1.4 配置ntp时间同步133.1.5 配置网络环境
2、193.1.6 酉己置 hosts歹!）表203.1.7 安装 JDK213.1.8 免秘钥登陆配置233.2 Zookeeper 安装部署283.2.1 解压安装包283.2.2 配置环境变量293.2.3 修改配置文件293.2.4 部署到其他机器上:323.2.5 启动、停止服务和查看服务的状态333.2.6 验证333.3 Hadoop 女装部署343.3.1 解压安装包343.3.2 配置环境变量343.3.3 修改配置文件353.3.4 部署集群433.3.5 启动及验证441 .引言1.1 编写目的和范围说明写这份详细设计说明书的目的。本详细设计说明书编写的目的是说明程序模块的设
3、计考虑,包括程序描述、输入/输出、 算法和流程逻辑等,为软件编程和系统维护提供基础。本说明书的预期读者为系统设计人员、 软件开发人员、软件测试人员和项目评审人员。1.2 术语表定义系统或产品中涉及的重要术语,为读者在阅读文档时提供必要的参考信息。序号术语或缩略语说明性定义1PMProject ManagerJ项目经理21.3 参考资料列出有关资料的名称、作者、文件编号或版本等。参考资料包括:a.需求说明书、架构设计说明书等;b.本项目的其他已发表的文件;c,引用文件、资料、软件开发标准等。资料名称作者文件编号、版本资料存放地点1.4 使用的文字处理和绘图工具文字处理软件:编写设计文档使用的文字
4、处理软件,如RedOffice 绘图工具:使用的UML工具,如Rose、Jude、Visio2 .平台通用说明2.1 平台所用系统说明所用系统都以CenlOs-6为例2.2 平台所使用的用户说明该大数据平台的所有的安装部署以root用户为例。2.3 平台所使用的安装目录说明将以下所有安装的软件统一安装到指定目录,创建指定目录如下所示:mkdir /opt/software注:所有该平台所有安装的安装的软件都安装在/pt/soflware2.4 平台组件部署说明平台组件的部署分布如下图所示:主机名安装组件Gn-MOIJdk、Hadoop（免秘钥 ssh ntp 时间同步）、Flume、 Elas
5、ticSearchRedis （主节点）、MySQL （主节点）Gn-M01Jdk、Hadoop（免秘钥 ssh、ntp 时间同步）、Flume、ElasticSearchRedis （从节点）、MySQL （从节点）Gn-S01Jdk、Hadoop （免秘钥 ssh ntp 时间同步）、Flume ElasticSearch注：每种组件以不同颜色进行标示2.5 拷贝安装包到指定目录将平台所需的所有软件都拷贝到指定目衆/。pt/software,以便于下面各组件的安装。3 . Hadoop 部署注：Hadoop安装的操作都在root用户下操作3.1 Linux环境配置3.1.1 修改主机名3.
6、1.1.1 Gn-M01 节点使用vi编辑主机名:vi /etc/sy sconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME这一属性,这个属性 若为你想要配置的主机名,这不不需要配置;否则,修改为Gn-MOl （或者你想要配置的属 性）：修改后保存退出（:wq）修改后生效命令,如下所示:hostname Gn-MOl （或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另个终端: hostname执行完hostname命令后，出现下图所示，说明修改成功:3.1.1.2 Gn-M02 节点使用vi编辑主机名:vi /etc/sy
7、sconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME这一属性,这个属性 若为你想要配置的主机名,这不不需要配置;否则，修改为Gn-M02 （或者你想要配置的属 性）：修改后保存退出（:wq）修改后生效命令,如下所示:hostname Gn-M02 （或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另个终端: hostname执行完hostname命令后,出现下图所示,说明修改成功:3.1.1.3 Gn-S01 节点使用vi编辑主机名:vi /etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行
8、的HOSTNAME这一属性,这个属性 若为你想要配置的主机名,这不不需要配置;否则，修改为Gn-M01 （或者你想要配置的属 性）：修改后保存退出（:wq）修改后生效命令,如下所示:hostname Gn-S01 （或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另个终端:hostname执行完hostname命令后,出现下图所示,说明修改成功:3.1.2 关闭防火墙注:Gn-M01, Gn-MO2、Gn-SOl三台服务器关闭防火墙这操作步骤一致 我们以Gn-M01为例:(1)查看防火墙状态,命令如下:service iptables status这说明防火墙是
9、开启状态。(2)关闭防火墙临时关闭防火墙,命令如所示:service iptables stop设置开机后自动关闭防火墙,命令如下所示:chkconfig -list Igrep iptableschkconfig iptables offIroot0Gn-MOl root0Gn-MOl# chkconfig !ist I grepiptablesiptables1 f*.Q/w 八 O:off l:off，* X 2 J12:on3:on 4:on5: on6: off|root&GnMQ1 root0Gn-MOl root0Gn-MOl-j f cnjccoHLiguxirt chkcon
10、fig !ist I grepiptablesiptablesO:off l:off 1 2:off3:off 4:off57off6: off|root0Gn-MOl- 1出现上图效果,说明服务器开机后自动关闭防火墙。注:Gn-M02、Gn-S01上操作和Gn-MOl一致,按照上面步骤进行操作即可。3.1.3 关闭 selinux注:Gn-M01, Gn-M02, Gn-SOl三台服务器关闭selinux这操作步骤一致我们以Gn-M02为例(1)查看selinux状态，命令如下:sestatusenabled - /selinux enforcing enforcing 24 targete
11、droot8Gn-M01 -t sestatus ELinux status;SELinuxfs mount: Current mode: Mode from config file: Policy version: Policy from config file: root0Gn-MOl i |说明selinux状态为enabled,处于开启状态。修改selinux配置文件用vi编辑器selinux配置文件,命令如下:vi /etc/selinux/config将selinux状态修改为disabled具体修改如下图所示;（3） selinux修改后生效检测selinux是否关闭成功,需要先
12、重启服务器,然后执行以下命令查看selinux命 令:sestatusLast login: Sun Jul 19 22:48:18 2015 from 192.168.219.1root0Gn-MOl -root8Gn-M01 *root8Gn-M01 J# sestatusSELinux status:disabledrfootGif-Horrrl-出现上图所示的,说明selinux关闭成功。注:Gn-M02、Gn-S01的selinux的操作和Gn-M01的操作一致,执行以上操作即可。3.1.4配置ntp时间同步配置部署的思路:将集群中的其中一台服务作为ntp时间服务器（注:这台时间服务
13、器 可以和网络时间进行同步）,其他的机器作为从服务器（客户端）,让其他这些服务器去同 步之前已经选好的nip时间服务器，这样就能是实现整个集群的时间一致。我们将Gn-M01作为ntp时间服务器,首先让Gn-M01这台服务器与网络时间进行同步， 然后，再让Gn-M02、Gn-SOl同步Gn-M01的时间，这样就实现了三台服务器的时间一致。部署分布如下表所示:主机名角色Gn-M01时间服务（要与网络时间进行同步）Gn-M02要同步的服务器（客户端）Gn-S01要同步的服务器（客户端）注:时间同步时,从服务器（客户端）的ntp服务是停止的,因为从服务公用个ntp时间 服务器说的更通俗就是Gn-M02
14、、Gn-S01公用Gn-MOI的ntp时间服务器3.1.4.1 Gn-M01 节点（1） 查看ntp服务器状态service ntpd statusroot8Gn-M01 - service ntpd status ntpd is stoppedroot8Gn-M01 t |说明服务是停止的。（2） 查看时间dateroot0Gn-MOl # date Mon Jul 20 01:03:47 PDT 2015rooteGn-MOl * |Windows下的实际时间:16:04 星期2015/7/20 |所以两个图的时间对比后，说明时间和网络时间不一致。（3） ntp时间服务与网络时间同步命令如
15、下所示：ntpdate cn.pool.ntp.orgrootgCn-MOl *# root0Gn-MOl -# ntpdate cn.pool.ntp.org20 Jul 01:08:26 Xaprianpadju9a titinp server 202.112.29.82 offset 0.145726 secroot6Gn-M01_dateMon Jul 20j 16:15:1?CST 2015rooteGn-MOl-|windows下实际时间:16:15星明一中 2015/7/20 .(4)酉己置 ntp server用vi编辑器编辑ntp服务器配置文件,命令如下:vi /etc/nt
16、p.conf修改mp服务的配置文件:将restrict default kod nomodify notrap nopeer noquery改成:restrict default nomodify同时添加两行:server 127. 127. 1. 0 prefer #local clockfudge 127. 127. 1. 0 stratum 1将server 0. centos, pool. ntp. org iburstserver 1. centos, pool. ntp. org iburstserver 2. centos, pool. ntp. org iburstserver
17、 3. centos, pool. ntp. org iburst注释掉。(5) 启动nip服务cd /etc/init.d/启动ntp服务:service ntpd start将时间服务器开机启动:chkconfig ntpd on如有错误信息可查看错误日志:tail /var/log/messageI 丄 57 C?DI】CU 丄j root0Gn-MOl t |3ervioe-ntpd start |Starting ntpd: OK root0Gn-MOl - service ntpd statusntpd (pid 2971) is runninq., Ircx)t8Gn-M01 -
18、# |tail_-r_7vaf/rog7niessages1Jul 20 01:35:08on 2 lo 127.0.0.1 TOP 123Jul2001:35:08Gn-MOlntpd2971:Listen normallyon 3ethO192.168.219.148UDP12；JJul2001:35:08Gn-MOlntpd2971:Listen normallyon 4lo :1 TOP 123Jul2001:35:08Gn-MOlntpd2971:Listen normallyon 5ethOfe80:20c:29ff:fea9:c25e IJDP 123Jul2001:35:08G
19、n-MOlntpd2971:peers refreshedJul2001:35:08Gn-MOlntpd2971:Listening on routingsocket on fd #22 forinterfaceupdatesJul2001:35:08Gn-MOlntpd2971:0.0.0.0 c016 06restartJul2001:35:08Gn-MOlntpd2971:0.0.0.0 c012 02freq_setkernel 0.000 PPMJul2001:35:08Gn-MOlntpd2971:0.0.0.0 cOll 01freq_not_setJul2001:35:09Gn
20、-MOlntpd2971:0.0.0.0 c514 04freq_mode出现上图说明配置正确,并启动成功。观察启动端口:netstat -tlunp | grep ntproot0Gn-MOl I netstat -tlunp I grep ntp1 udp00192.168.219.148:1230.0.0.0:*2971/ntpdudp00127.0.0.1:1230.0.0.0：*2971/ntpdudp000.0.0.0:1230.0.0.0:*2971/ntpdudp00fe80:20c:29ff:fea9:c25e:123 :*2971/ntpc1udp00:1:123:*297
21、1/ntpdudp00：123：:*2971/ntpd1 root0Gn-MOl -# |1（6）同步上层时间服务由于把本机作为时间服务器则很快就可以同步时间服务器ntpstatroot0Gn-MOl -# ntpstat synchronised to local net at stratum 2 time correct to within 11 ms polling server every 64 sroot0Gn-MOl t |显示ntp服务器与上层服务器状态: ntpq -prcx)t0Gn-MOl - # ntpq -premoterefid st t when poll reac
22、h delay offset jitterLOCAL(0).LOCL.root0Gn-MOl * |1 1564 3770.0000.0000.000(该配置完成后需要重启服务器生效)3.1.4.2 Gn-M02 节点配置时间服务器客户端(1)查看ntp服务器状态 service ntpd statusrcx)t0Gn-MO2 service ntpd status kitpd is ssppedrcxt6Gn4O2 |(2)同步Gn-MOl的ntp服务器手动同步:ntpdate 192.168.219.148 (Gn-MOl 的 IP 地址)root0Gn-MO2 ntpdate 192.1
23、68.219.14820 Jul 17:03:17 ntpdate2988: step time server 192.168.219.148 offset 2.949908 sec root0Gn-MO2 - dateMon Jul 20 17:03:23 CST 2015root0Gn-MO2 |自动同步:crontab -e添加以下内容,进行没五分同步一次时间*/5 * * * * /usr/sbin/ntpdate 192.168.219.14，1 Gn-M01 2 Gn-M02 3 Gn-S01*/5 * * * * /usr/sbin/ntpdate 192.168.219.14r
24、oot0Gn-MO2 -# crontab -1*/5 * * * * /usr/sbin/ntpdate 192.168.219.148root0Gn-MO2 # |3.1.4.3 Gn-S01 节点配置时间服务器客户端注:Gn-S01的操作与Gn-M02的操作一致,详细配置参见Gn-M023.1.5配置网络环境配置网络的目的是要保证集群的间的网络能够互通注:Gn-M01, Gn-M02, Gn-SOl 的操作一致以Gn-M01为例ifconfigrcx)teGn-M01 # ifconfigethO Link encap:Ethernet HWaddr 00:0C:29:A9:C2:5Ei
25、net addr:192.168.219.148 Beast:192.168.219.255 Mask:255.255.255.0 inet6 addr: fe80:20c:29ff:fea9:c25e/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric: 1 RX packets:15797 errors:0 dropped:0 overruns:0 frame:0 TX packets:6909 errors:0 dropped:0 overruns:0 carrier:0 collisions: txqueuelen:
26、1000 RX bytes:10421441 (9.9 MiB) TX bytes:441871 (431.5 KiB)loLink encap:Local Loopbackinet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: :1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:19 errors:0 dropped:0 overruns:0 frame:0 TX packets:19 errors:0 dropped:0 overruns: carrier: colli
27、sions:0 txqueuelen:0 RX bytes:2564 (2.5 KiB) TX bytes:2564 (2.5 KiB)root8Gn-M0I # |分别 ping Gn-M02, Gn-SOl 的 IP 地址root0Gn-MOl - ping 192.168.219.149 III PING 192.168.219.149 (1.160.19.149) 56(84) bytes of data.64 bytesfrom192.168.219.149:icn?seq=lttl=64time=0.291ms64 bytesfrom192.168.219.149:icnp_seq
28、=2ttl=64time=0.508ms64 bytesfrom192.168.219.149:ici5seq=3ttl=64time=0.391mspc 192.168.219.149 ping statistics 3 packets transmitted, 3 received, 0% packet loss, time 2385ms rtt min/avg/max/mdev_0.291/0.396/0.508/0.091 ms root8Gn-M01 -# ping 192.168.219.150PING 192.168.219.150 (1W.168.219.150) 56(84)
29、 bytes of data.64 bytes from 192.168.219.150: icmp_seq=l ttl=64 time=79.9 ms64 bytes from 192.168.219.150: icmp_seq=2 ttl=64 time-0.648 ms 192.168.219.150 ping statistics 2 packets transmitted, 2 received, 0% packet loss, time 1458ms rtt min/avg/max/mdev = 0.648/40.304/79.960/39.656 ms root0Gn-MOl |
30、ping通即可。注:Gn-M02 Gn-S01的网络的配置和Gn-M01配置一致,详细配置重复以上操作即可3.1.6 配置hosts列表注:配置hosts列表来解析主机名,Gn-M01, Gn-M02、Gn-S01的操作一致以Gn-M01为例进行操作用vi编辑主机名列表，命令如下所示:vi /etc/hosts（建议填写所有的集群主机名映射）注:IP地址要和主机名对应,并且是IP地址在前,主机名在后验证是否配置成功:ping Gn-M01ping Gn-M02ping Gn-S01出现上图说明配置成功,通过IP地址解析了主机名。注:Gn-M02、Gn-SOI的主机名解析的配置和Gn-M01配置
31、一致,详细配置事复以上操作即 可3.1.7 安装 JDK安装JDK的目的是用来为程序的运行提供java环境 由于所有的软件包都安装在/pt/soft ware进入安装目录:cd /opt/softwarercx)teGn-M01 - cd /opt/software/root0Gn-MOl softwaref pwd /opt/software root6Gn-M01 software Is apache-flume-1.5.2-bin.tar.gz hbase-1.0.0-bin.tar.gz zookeeper-3.4.6.tar.gz elasticsearch-1.4.4.tar.gz
32、jdkl.0 71.ziphadoop-2.6.0.tar.gzredis-3.0.2.tar.gzroot0Gn-MOl software/dev/null & fifidoneunset iunset -f pathmungeexport JAVA_HOME=/opt/software/jdkl. .0_71 export PATH:二一;/bi息82,32Bot修改之后保存退出（:wq）3.1.7.4配置生效及验证配置完环境变量,使得环境变量生效的命令如下所示:source /etc/profile验证配置是否成功:javajavacjava -versionrootGn-M01 jdk
33、l.7.0_71 java -versionjava version w1.7.0_71 IJava(TM) SE Runtime Environment (build 1.7.0_71-bl4)Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01r mixed mode) (root8Gn-M01 jdkl.7.0_71 |出现上图所示说明JDK部署成功。注:Gn-M02、Gn-S01的JDK的配置和Gn-M01配置致,详细配置重复以上操作即可3.1.8免秘钥登陆配置免秘钥登陆是通过sshd这个服务，通过命令ssh-keygen -t rsa来
34、生成服务器自己的公钥 和私钥，实现免秘钥就是将一台机器（如:Gn-M01）的公钥复制到另一台机器（Gn-M02） 的/.ssh目录下，就可以实现提供公钥的那台机器（Gn-M01）免秘钥登陆复制到的那台机器 （Gn-M02）上。在hadoop的HA集群上（集群上机器的分布有2个管理节点和n个数据节点）要实现 种免秘钥的方式就是2台管理节点要实现互相免秘钥登陆，同时管理节点要免秘钥登陆n 个数据节点。Hadoop 的 HA （管理节点：Gn-M01 Gn-M02i数据节点：Gn-S01）注：ssh面秘钥登陆配置是要注意用户，在那个用户下安装hadoop,就在那个用户下配 置，我们是在root用户下
35、安装hadoop,那么，我们就以root用户为例：3.1.8.1 Gn-M01 节点在终端上生成秘钥，命令如下（一路点击回车生成秘钥）ssh-keygen -t rsa生成的秘钥在/.ssh目录下如下图所示:root0Gn-MOl -# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase
36、again:Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is:ae:37:27:0a:64:d9:87:f3:af:32:a2:87:d6:8b:ld:ec root0Gn-MOl The key*s randomart image is: + RSA 2048+ + S+ =o+ oO+OO.+.ooEoo.=.rooteGn-MOl -J#复制公钥文件,命令如下所示:c
37、at -*/.ssh/id_rsa.pub -*/.ssh/authorized_keysroot0Gn-MOl * cat -/.33h/id_rsa.pub -/.3sh/authorized_keysroot0Gn-MOl -#root0Gn-MOl -root0Gn-MOl-t cd -/.ssh/root0Gn-MOl.ssh1 11total 16-rw-r-r-1rootroot393Jul2020:26author!zed_keys-rw1rootroot1671Jul2020:22id_rsa-rw-r-r-1rootroot393Jul2020:22id rsa.pub-r
38、w-r-r-1rootroot1212Jul2020:02known hostsrooteGn-MOl .ssh# |修改authorized_keys文件的权限,命令如下: chmod 600 -*/.ssh/authorized_keysroot0Gn-MOl root0Gn-MOl total 16-rw1-rw1-rw-r-r- 1-rw-rr1 root0Gn-MOlrootroot393Jul2020:26author!zed_keysrootroot1671Jul2020:22id rsarootroot393Jul2020:22id rsa.pubrootroot1212Jul
39、2020:02known hosts.sshf I.ssh# chmod 600 authorized keys .33hf 11将authorized_keys文件复制在Gn-MOl上,命令如下所示:scp /.ssh/authorized_keys rootGn-M02/如果提示yes/no的时候,则输入yes 密码:输入密码root0Gn-MOl - scp -/.33h/authorized_keys root0Gn-MO2:/rootgn-mO2,5 password:author!zed_keysrooteGn-MOl *1 |3.1.8.2 Gn-M02 节点在终端上生成秘钥,命
40、令如下（一路点击回车生成秘钥）ssh-keygen -t rsa生成的秘钥在/.ssh目录下如下图所示:root8Gn-M02 -f ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again:Your identification has been saved in /root/.ssh/id rsa. Your public key has been saved in /root/.ssh/id rsa.pub. The key fingerprint is: ld:e4:02:84:18:ca:e2:09:99:ll:89:0a:56:fa:7f:82 rootgGn-M02The keys randomart image is: + RSA 2048+l+oo+ oo .|l*o oIIXo. (o o .|