《(完整word版)hadoop安装教程.pdf》由会员分享，可在线阅读，更多相关《(完整word版)hadoop安装教程.pdf（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1、VMware 安装 我们使用 Vmware 14 的版本，傻瓜式安装即可。（只要）双击 如过 2.安装 xshell 双击 3.安装镜像：解压 centos6.5-empty 解压 双击打开 CentOS6.5.vmx 如果打不开，在 cmd 窗口中输入：netsh winsock reset 然后重启电脑。进入登录界面，点击 other 用户名：root 密码：root 然后右键 open in terminal 输入 ifconfig 回车 查看 ip 地址 打开 xshell 点击链接 如果有提示，则接受 输入用户名：root 输入密码：root 4.xshell 连接虚拟机 打开虚
2、拟机，通过 ifconfig 查看 ip 5.安装 jkd 1.解压 Linux 版本的 JDK 压缩包 mkdir：创建目录的命令 rm-rf 目录/文件 删除目录命令 cd 目录 进入指定目录 rz 可以上传本地文件到当前的 linux 目录中（也可以直接将安装包拖到 xshell 窗口）ls 可以查看当前目录中的所有文件 tar 解压压缩包（Tab 键可以自动补齐文件名）pwd 可以查看当前路径 文档编辑命令:vim 文件 编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态:wq 保存并退出:q!不保存退出 mkdir/home/software#按 习 惯 用 户 自 己 安
3、装 的 软 件 存 放 到/home/software 目录下 cd/home/software#进入刚刚创建的目录 rz 上传 jdk tar 包#利用 xshell 的 rz 命令上传文件(如果 rz 命令不能用，先执行 yum install lrzsz-y，需要联网)tar-xvf jdk-7u51-linux-x64.tar.gz#解压压缩包 2.配置环境变量 1）vim/etc/profile 2）在尾行添加#set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.
4、8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc 退出编辑状态:wq#保存退出 注意 JAVA_HOME 要和自己系统中的 jdk 目录保持一致，如果是使用的 rpm 包安装的 jdk，安装完之后 jdk 的根目录为：/usr/java/jdk1.8.0_111，也可以通过命令：rpm-qal|grep jdk 来查看目录 3）source/etc/profile
5、使更改的配置立即生效 4）java-version 查看 JDK 版本信息。如显示版本号则证明成功。6.安装 hadoop 1.安装配置 jdk、关闭防火墙 service iptables stop 执行该命令可以关闭防火墙，但是如果虚拟机重启的话，防火墙会重新开启。chkconfig iptables off 执行该命令可以永久关闭防火墙。两个命令配合使用 2.修改主机名 vim/etc/sysconfig/network 以后的 Hadoop 会有多台主机，因此需要根据主机名来区分这些系统。注意：主机名里不能有下滑线，或者特殊字符#$，不然会找不到主机，从而导致无法启动。这种方式更改主机
6、名需要重启才能永久生效，因为主机名属于内核参数。如果不想重启，可以执行：hostname hadoop01。但是这种更改是临时的，重启后会恢复原主机名。所以可以结合使用。先修改配置文件，然后执行:hostname hadoop01。可以达到不重启或重启都是主机名都是同一个的目的 3.配置 hosts 文件 vim/etc/hosts 修改 hosts 文件，以后用到 IP 连接的地方就可以直接使用 hadoop01 代替 IP 地址了。4.配置免密码登录 ssh-keygen 这里只需要回车，无需输入。ssh-copy-id roothadoop01 想从这台机器免密登录哪个机器，就把公钥文件
7、发送到哪个机器上。5.安装配置jdk（省略）6.上传和解压hadoop安装包 过程省略，解压路径为：要记着这个路径，后面的配置要用到。#data transfer protocol using non-privileged ports.#export JSVC_HOME=$JSVC_HOME export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop :wq 退出 source hadoop-env.sh 让配置立即生效 9.修改 core-site.xml vim core-site.xml 在标签中添加如下代码 fs.defa
8、ultFS hdfs:/hadoop01:9000 hadoop.tmp.dir /home/software/hadoop-2.7.1/tmp 10.修改 hdfs-site.xml vim hdfs-site.xml 在标签中添加如下代码 dfs.replication 1 dfs.permissions false 11.修改 mapred-site.xml cp mapred-site.xml.template mapred-site.xml 拷 贝 模 板文件并重命名 vim mapred-site.xml 在标签中添加如下代码 mapreduce.framework.name ya
9、rn yarn 是 Hadoop 的资源协调工具。12.修改 yarn-site.xml vim yarn-site.xml 在标签中添加如下代码 yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle 13.配置 slaves 文件 vim slaves hadoop01 14.配置 hadoop 的环境变量 vim/etc/profile 修改配置文件，使 hadoop 命令可以在任何目录下执行，下面是修改后的代码 JAVA_HOME=/home/software/jdk1
10、.8.0_111 HADOOP_HOME=/home/software/hadoop-2.7.1 JAVA_BIN=/home/software/jdk1.8.0_111/bin PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME 加粗的地方都是需要修改的地方，注意 PATH 多个参数值之间用冒号隔开，所
11、有的参数都在$PATH 之前 source/etc/profile 使配置文件生效 15.格式化 namenode hadoop namenode-format 中间如果提示是否需要重新格式化，则根据自己的需求输入即可。如果出现 successfully formatted，则表示格式化成功。16.启动分布式文件系统 cd/home/software cd hadoop-2.7.1/cd sbin 进入 Hadoop 安装目录下的 sbin 目录，执行：sh start-dfs.sh 如果要停止,执行 sh stop-dfs.sh 之后执行 jps，如果出现下图则表示执行成功 17.HDFS
12、控制台页面 通过浏览器访问：ip:50070 来查看 hdfs 系统 7、Windows 下 Eclipse 中安装 hadoop 插件 1.下载 hadoop 插件，注意:插件的版本要和用的 hadoop 版本保持一致 2.将插件 jar 包放在 eclipse 安装目录的 plugins 目录下 3.将 hadoop 安装包放到指定的一个目录（后面要用这个安装目录）3.重启 eclipse(配置 jdk 和 compiler 查看是否与 jdk 一致)，window=preferences 下发现多出Map/Reduce 选项卡，点击=选择 hadoop 的安装目录，然后点击 apply，点击确定 eclipse 中配置 jdk：然后 next 4.点击 window-show view，调出 map/reduce 视图 6.在 map/reduce 视图下，点击右下方蓝色的大象，新建 hadoop 客户端连接 7.在下面的选项卡里，填好 namenode 节点的 ip 地址，及相应的端口号 8.即可链接到 hdfs