《hadoop安装与配置.ppt》由会员分享，可在线阅读，更多相关《hadoop安装与配置.ppt（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Hadoop安装与配置管理安装与配置管理Hadoop平台程序运行示例集群计算机集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。集群系统中的单个计算机通常称为节点，通常通过局域网连接。集群技术的特点：通过多台计算机完成同一个工作达到更高的效率。两机或多机内容、工作过程等完全一样，一台死机，另一台可以起作用。2022/10/316第2章配置网络VMware 提供了 3 种工作模式，分别是 bridged 模式、NAT 模式和 host-only 模式。建议选择 host-only。(1)在brig桥接模式下，VMware 虚拟出来的操作系统就像是局
2、域网中的一个独立的 主机，可以访问网内的任何一台机器，需要手工配置IP地址，和宿主主机在同一网段。(2)在 NAT 模式下，就是让虚拟系统借助 NAT 功能，通过宿主机器所在的网络来访问公网。(3)在 host-only 仅主机模式下，虚拟系统间可以相互通信，与真实的网络是隔离开的。伪分布式模式的安装和配置步骤单机网络设置：若采用主机模式，需将ip设置为虚拟机网络设置窗口中VMnet1网卡的地址范围。宿主计算机VMnet1的ip设置为主节点的网关。修改主机名：vi/etc/sysconfig/network将主机与IP绑定：vi/etc/hosts上传所需的Java和Hadoop软件包：可使用
3、远程登录软件WinSCP（虚拟机如果安装了Virtualtools，也可直接在系统间复制、粘贴文件）。安装和配置Java：查看（rpm-qa|grep jdk）并删除已有的Java版本（yum-y remove jdk版本），解压（tar-zxvf）、重命名(mv)，配置环境变量/etc/profile并通过source命令使其生效，测试是否安装配置成功。Hadoop环境：解压文件，导入环境变量，修改配置文件。2022/10/318第2章网络配置：Hadoop启动与测试格式化文件系统：hdfs namenode-format启动HDFS：start-dfs.sh启动Yarn：start-yar
4、n.sh查看启动的进程：jps查看生成的文件夹管理jobHistory server：在浏览器中查看Hadoop运行情况集群验证：执行mapreduce例程完全分布式完全分布式机器名机器名在slaves文件中添加子节点，如node1、node2克隆主节点，修改子节点网络配置，修改主机名关闭防火墙：systemctl stop firewalld.service配置SSH免密码登录：ssh-keygen t，连按四次回车键，生成公钥和私钥，执行cat id_rsa.pub authorized_keys创建权限文件，执行 chmod 600 authorized_keys设置权限(前面的操作每个
5、节点都执行)，复制公钥（node和node1节点执行）：ssh-copy-id i/.ssh/id_rsa.pub node2，最后复制到所有其他节点（node2节点执行）：scp/root/.ssh/authorized_keys node:/root/.ssh/;scp/root/.ssh/authorized_keys node1:/root/.ssh/;scp/root/.ssh/authorized_keys node2:/root/.ssh/2022/10/3111Hadoop启动与测试删除之前生成的本地文件，即hdfs文件夹中的所有文件重新格式化文件系统：hdfs namenod
6、e-format启动HDFS：start-dfs.sh启动Yarn：start-yarn.sh分别查看各节点启动的进程：jps查看各节点生成的本地文件夹管理jobHistory server：mr-jobhistory-daemon.sh start historyserver在浏览器中查看Hadoop运行情况集群验证：执行mapreduce例程 hadoop jar/usr/local/hadoop2/share/hadoop/marpeduce/hadoop-mapreduce-examples-2.4.1.jar wordcount/data/wordcount/output/wordcount结束结束