《2022年Hadoop安装教程——单机模式 .pdf》由会员分享，可在线阅读，更多相关《2022年Hadoop安装教程——单机模式 .pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Hadoop 安装教程单机模式Hadoop 是 MapReduce 的开源实现，现在介绍它的单机模式安装方法。实验平台： Ubuntu 9.04 ，Hadoop0.20 ，JDK1.6 step 1. ssh的安装设置由于 Hadoop 用 ssh 作机器间的通信，因此先进行免密码登录机器的设定，$ apt-get install ssh $ ssh-keygen -t rsa -P -f /.ssh/id_rsa $ cat /.ssh/id_rsa.pub /.ssh/authorized_keys $ ssh localhost完成后请登入确认不用输入密码，（第一次登入需按enter 键
2、，第二次就可以直接登入到系统），以免日后输入密码key 到手软。$ ssh localhost $ exit $ ssh localhost $ exitstep 2. 安装 java由于Sun Java Runtime 是执行Hadoop 必备的工具，因此我们需要安装JRE 或 JDK 。这里我们直接安装JDK，因为后面写程序仍旧需要用到JDK 所提供的编译程序。目前Ubuntu 9.04 提供的 JDK 套件最新版本为Sun Java(TM) Development Kit (JDK) 6 ，套件名称为sun-java6-jdk。并建议删除原本的gcj 。$ sudo apt-get pu
3、rge java-gcj-compat $ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jrestep 3. 下载安装Hadoop?请至下载Hadoop 0.20 ，并解开压缩文件到/opt 路径。?$ tar zxvf hadoop -0.20.0.tar.gz ?$ sudo mv hadoop -0.20.0 /opt/ ?$ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.0 ?$ sudo ln -sf /opt/hadoop-0.20.0 /opt/hadoop名师资
4、料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 4 页 - - - - - - - - - step 4. 设定hadoop-env.sh?进入hadoop 目录，做进一步的设定。我们需要修改两个档案，第一个是hadoop-env.sh ，需要设定JAVA_HOME, HADOOP_HOME, PATH 三个环境变量。/opt$ cd hadoop/ /opt/hadoop$ cat conf/hadoop-env.sh EOF贴上以下信息export JAVA_HOME=/u
5、sr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export PATH=$PATH:/opt/hadoop/bin EOF step 5. 设定hadoop配置文件?編輯/opt/hadoop/conf/core-site.xml fs.default.name hdfs:/localhost:9000 hadoop.tmp.dir /tmp/hadoop/hadoop-$user.name ?編輯/opt/hadoop/conf/hdfs-site.xml dfs.replication 1 ?編輯/opt/hadoop/conf/m
6、apred-site.xml 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - mapred.job.tracker localhost:9001 step 6. 格式化 HDFS?以上我们已经设定好Hadoop 单机测试的环境，接着让我们来启动Hadoop 相关服务， 格式化namenode ， secondarynamenode, tasktracker ?$ cd /opt/hadoop?$ source /opt/hado
7、op/conf/hadoop-env.sh ?$ hadoop namenode -format执行画面如：09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /* STARTUP_MSG: Starting NameNode STARTUP_MSG: host = /localhost STARTUP_MSG: args = -format STARTUP_MSG: version = 0.18.3 STARTUP_MSG: build = https:/svn.apache.org/repos/asf/hadoop/core/branches
8、/branch-0.18 -r 736250; compiled by ndaley on Thu Jan 22 23:12:08 UTC 2009 */ 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.St
9、orage: Image file of size 82 saved in 0 seconds. 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted. 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /* SHUTDOWN_MSG: Shutting down NameNode at /localhost */ step 7. 启动 Hadoop名师资料总结 -
10、- -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - ?接着用start-all.sh 来启动所有服务，包含namenode, datanode, /opt/hadoop$ bin/start-all.sh 执行画面如：starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out localhost: starting datanode, logging
11、 to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out step 8. 安装完毕测试?启动之后， 可以检查以下网址，来观看服务是否正常。Hadoop 管理接口Hadoop Task Tracker 状态 Hadoop DFS 状态?http:/localhost:50030/ - Hadoop 管理接口注：已安装测试成功，参考修改于http:/trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1，感谢 NCHC。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -