《2022年Hadoop安装教程——单机模 .pdf》由会员分享，可在线阅读，更多相关《2022年Hadoop安装教程——单机模 .pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Hadoop 安装教程单机模式Hadoop 是 MapReduce 的开源实现，现在介绍它的单机模式安装方法。实验平台：Ubuntu 9.04，Hadoop0.20，JDK1.6 step 1.ssh的安装设置由于 Hadoop 用 ssh 作机器间的通信，因此先进行免密码登录机器的设定，$apt-get install ssh$ssh-keygen-t rsa-P -f/.ssh/id_rsa$cat/.ssh/id_rsa.pub /.ssh/authorized_keys$ssh localhost完成后请登入确认不用输入密码，（第一次登入需按enter 键，第二次就可以直接登入到系统）
2、，以免日后输入密码key 到手软。$ssh localhost$exit$ssh localhost$exitstep 2.安装 java由于Sun Java Runtime 是执行Hadoop 必备的工具，因此我们需要安装JRE 或 JDK。这里我们直接安装JDK，因为后面写程序仍旧需要用到JDK 所提供的编译程序。目前Ubuntu 9.04 提供的 JDK 套件最新版本为Sun Java(TM)Development Kit(JDK)6，套件名称为sun-java6-jdk。并建议删除原本的gcj 。$sudo apt-get purge java-gcj-compat$sudo apt-
3、get install sun-java6-bin sun-java6-jdk sun-java6-jrestep 3.下载安装Hadoop?请至下载Hadoop 0.20，并解开压缩文件到/opt 路径。?$tar zxvf hadoop-0.20.0.tar.gz?$sudo mv hadoop-0.20.0/opt/?$sudo chown-R hadoop:hadoop/opt/hadoop-0.20.0?$sudo ln-sf/opt/hadoop-0.20.0/opt/hadoop名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 4 页 -step 4.设定hadoop
4、-env.sh?进入hadoop 目录，做进一步的设定。我们需要修改两个档案，第一个是hadoop-env.sh，需要设定JAVA_HOME,HADOOP_HOME,PATH 三个环境变量。/opt$cd hadoop/opt/hadoop$cat conf/hadoop-env.sh EOF贴上以下信息export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export PATH=$PATH:/opt/hadoop/bin EOF step 5.设定hadoop配置文件?編輯/opt/hadoop/con
5、f/core-site.xml fs.default.name hdfs:/localhost:9000 hadoop.tmp.dir/tmp/hadoop/hadoop-$user.name?編輯/opt/hadoop/conf/hdfs-site.xml dfs.replication 1?編輯/opt/hadoop/conf/mapred-site.xml 名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 4 页 -mapred.job.tracker localhost:9001 step 6.格式化 HDFS?以上我们已经设定好Hadoop 单机测试的环境，接着让我们来启
6、动Hadoop 相关服务，格式化namenode，secondarynamenode,tasktracker?$cd/opt/hadoop?$source/opt/hadoop/conf/hadoop-env.sh?$hadoop namenode-format执行画面如：09/03/23 20:19:47 INFO dfs.NameNode:STARTUP_MSG:/*STARTUP_MSG:Starting NameNode STARTUP_MSG:host=/localhost STARTUP_MSG:args=-format STARTUP_MSG:version=0.18.3 STA
7、RTUP_MSG:build=https:/svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18-r 736250;compiled by ndaley on Thu Jan 22 23:12:08 UTC 2009*/09/03/23 20:19:47 INFO fs.FSNamesystem:fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem:supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNames
8、ystem:isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.Storage:Image file of size 82 saved in 0 seconds.09/03/23 20:19:47 INFO dfs.Storage:Storage directory/tmp/hadoop-hadooper/dfs/name has been successfully formatted.09/03/23 20:19:47 INFO dfs.NameNode:SHUTDOWN_MSG:/*SHUTDOWN_MSG:Shutting down N
9、ameNode at/localhost*/step 7.启动 Hadoop名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 4 页 -?接着用start-all.sh 来启动所有服务，包含namenode,datanode,/opt/hadoop$bin/start-all.sh 执行画面如：starting namenode,logging to/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out localhost:starting datanode,logging to/opt/hadoop/logs/hadoop-hadoo
10、per-datanode-vPro.out localhost:starting secondarynamenode,logging to/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out starting jobtracker,logging to/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out step 8.安装完毕测试?启动之后，可以检查以下网址，来观看服务是否正常。Hadoop 管理接口Hadoop Task Tracker 状态 Hadoop DFS 状态?http:/localhost:50030/-Hadoop 管理接口注：已安装测试成功，参考修改于http:/trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1，感谢 NCHC。名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 4 页 -