《Hadoop集群部署详细手册(10页).docx》由会员分享，可在线阅读，更多相关《Hadoop集群部署详细手册(10页).docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、-Hadoop集群部署详细手册-第 10 页1、安装虚拟机1.1、准备软件1、VMware Workstation 12.zip 虚拟机软件2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统1.2、安装虚拟机软件要想成功安装，务必删除掉已有的虚拟机软件1.3、安装操作系统l 运行虚拟机软件，点击软件右上角的文件，选择新建虚拟机，会弹出新建虚拟机向导页面l 选择典型安装，然后点击下一步l 选择客户端操作系统，务必选择“稍后安装操作系统”，然后点击下一步l 选择客户端操作系统的类型为linux、版本为CentOS 64位，然后点击下一步l 输入虚拟机名称，并选择虚拟机
2、镜像文件安装的目录，然后下一步l 选择磁盘大小，并选择镜像文件存储的格式，然后点击下一步l 直接点击完成l 完成之后，虚拟机软件的左侧会出现你配置的虚拟机名称，点击编辑虚拟机设置l 根据自己的机器配置信息设置虚拟机内存大小，一般建议给2G以上l 重要操作：指定虚拟机启动时的镜像文件l 重要操作：指定虚拟机网络类型为NAT，如果已经NAT就忽略此步骤l 配置完成之后，点击确定操作保存配置文件l 启动虚拟机，选中你的虚拟机名称，在右侧的窗口点击 开启此虚拟机l 直接回车，安装操作系统l 使用键盘上的Tab按键，选择Skip，然后点击回车l 然后一路回车，进入以下的页面，并点击Next操作l 选择语
3、言l 选择键盘l 选择硬盘类型l 选择 yes discard any data 确定当前配置l 输入hostname 主机名称l 选择时区为上海l 输入操作系统的密码为8个1l 输入密码之后，点击下一步，会提示密码过于简单，是否使用，选择使用l 选择替换已经存在的系统l 将以上配置信息写入到磁盘l 选择服务器类型为Basic Serverl 服务器会自动安装，安装完成之后点击reboot按钮即可1.4、配置linux的网卡新安装的操作系统，既是使用了桥接的方式，也不一定能够上网，因为每个人的网络环境并非一样的。所以如果你在使用ping 命令，可能会碰到一下的错误： 1）ping域名的时候出现
4、ping:unknown host xxx.xxx 2）ping域名的时候出现connect: network is unreachable 的问题 以上两种问题的出现，一般都是ip地址没有配置好。 下图的是常用网卡配置的参数 配置网卡有几种方式，可以自行百度下，本文是修改网卡的配置文件。 配置文件名称：vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置完毕之后，重启网卡 service network restart1.5、准备三个虚拟机搭建Hadoop集群重复步骤1.3和1.4的操作，完成三个虚拟机的安装。1.6、配置集群Hosts 所有的虚拟机
5、上都需要配置hosts vi /etc/hosts 192.168.239.128storm01zk01hadoop01 192.168.239.129storm02zk02hadoop02 192.168.239.130storm03zk03hadoop03Scp /etc/hosts hadoop02:/etc/Scp /etc/hosts hadoop03:/etc/1.7、服务器间免密码登录必选Hadoop01上配置免密码登陆，在所有机器上执行以下命令 ssh-keygen-trsa（四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝
6、到要免密登陆的目标机器上ssh-copy-id其他机器的hostname1.8、关闭服务器的防火墙（1） 重启后永久性生效：开启：chkconfig iptables on关闭：chkconfig iptables off（2） 即时生效，重启后失效：开启：service iptables start关闭：service iptables stop1.9、创建服务器上的统一工作目录mkdir /exportmkdir /export/serversmkdir /export/software/chmod 755 -R /export2、配置JDK2.1、查看当前系统上是否安装了JDK 进入一个
7、新的系统，一般来讲是没有安装过JDK的。但是有些linux的版本会默认安装openJDK。open JDK实在oracle公司开源的代码上进行同步开发并发布的版本。如果要查看当前系统是否已经安装了JDK，可以使用命令：sudo update-alternatives -config java2.2、下载JDK 由于当前系统中并没有我们需要的oracle JDK，我们需要自己安装一个。 先在oracle的网站上寻找JDK的下载地址，然后使用wget命令进行下载。或者，你可以将数据下载到电脑上，然后上传到linux上。wget2.3、解压安装包 mv jdk-8u60-linux* jdk-8u6
8、0-linux-x64.tar.gz tar -zxvf jdk-8u60-linux-x64.tar.gz -C ./install/2.4、配置JDK部署信息到环境变量 #set java env export JAVA_HOME=/export/servers/jdk export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$PATH2.5、让配置信息生效 source /etc/profile2.6、将oracle JDK 配置成默
9、认的JDKupdate-alternatives-install/usr/bin/javajava/export/servers/jdk/bin/java300update-alternatives-install/usr/bin/javacjavac/export/servers/jdk/bin/javac3002.7、产看当前机器的JDK版本3、 安装Hadoop集群3.1、准备软件企业的线上环境（生产环境）一般都是64位hadoop官方网站上并没有支持64位的安装包，需要自己编译，链接我们使用编译好的hadoop-2.6.1.tar.gz关闭防火墙和文件目录控制权限临时关闭service
10、 iptables stop& setenforce 0 永久关闭防火墙 chkconfig iptables off3.2、解压安装包mv hadoop-2.6.1.tar.gz /export/software/cd /export/software/tar -zxvf hadoop-2.6.1.tar.gz -C /export/servers/cd /export/servers/ln -s hadoop-2.6.1 hadoop3.3、配置环境变量vi /etc/profile#set hadoop envexport HADOOP_HOME=/export/servers/hado
11、opexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH3.4、让配置生效 source /etc/profile3.5、修改Hadoop配置文件 第一个：hadoop-env.sh 第二个：core-site.xml 第三个：hdfs-site.xml 第四个：mapred-site.xml 第五个：yarn-site.xml/export/servers/hadoop/etc/hadoop/先去该目录下对应的配置通过rz Yum install lrzsz3.6、将hadoop文件分发到其他机器依次分发给hadoop02、hadoop03
12、 . hadoopNscp -r /export/servers/ hadoop-2.6.1 hadoop02:/export/servers/scp -r /export/servers/ hadoop-2.6.1 hadoop03:/export/servers/3.7、在其他机器上创建软连接依次在hadoop02、hadoop03 . hadoopN创建软连接cd /export/servers/ln -s hadoop-2.6.1 hadoop3.8、在其他机器上修改环境变量依次在hadoop02、hadoop03 . hadoopN创建软连接scp /etc/profile hado
13、op02:/etc/scp /etc/profile hadoop02:/etc/3.9、使其他机器上的环境变量生效 source /etc/profile3.10、格式化nameonde在hadoop01机器上执行命令 hadoop namenode -format3.11、启动HDFS服务3.11.1、手动一台一台地启动在相应服务器上启动hdfs的相关进程：启动namenode进程 sbin/hadoop-daemon.sh start namenode 只在hadoop01上启动datanode进程sbin/hadoop-daemon.sh start datanode然后，验证hdfs
14、的服务是否能正常提供：bin/hdfs dfsadmin -report 查看hdfs集群的统计信息 yarn-daemon.sh start nodemanager3.11.2、Shell脚本批量启动方式在hadoop01服务器上执行命令：启动hdfs服务：sbin/start-dfs.sh启动yarn服务：sbin/start-yarn.sh或者：直接启动hdfs+yarn服务：sbin/start-all.sh3.12、查看ui界面HDFS管理http:/hadoop01:50070 任务管理界面http:/hadoop01:8088/cluster3.13、退出hadoop安全模式hadoop dfsadmin -safemode leave