《2022年Hadoophive环境搭建 .pdf》由会员分享，可在线阅读，更多相关《2022年Hadoophive环境搭建 .pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Hadoop、hive环境搭建详解一、Hadoop环境搭建首先在 Apache官网下载 hadoop的包 hadoop-0.20.2.tar.gz。解压 hadoop-0.20.2.tar.gz包，具体命令如下：tar zxvf hadoop-0.20.2.tar.gz 其中要注意的是，tar 包用 xvf ，gz 包用 zxvf 。在安装中，如果遇到识别问题，或者无法解压，很有可能是权限问题，解决方案是修改此文件的使用权限，命令如下：chmod 777 hadoop-0.20.2.tar.gz 其中， 777 为所有权限。如果依然报错，如：Archive contains obsolesce
2、nt base-64 headers;Error exit delayed from previous errors。这种情况， 一般是压缩包损坏的问题。因为大多数人会将包下载到windows环境，再通过 ftp 等方法上传到Linux环境。容易产生包损坏。 建议大家直接下载到Linux即可。具体命令如下：wget http:/ 直接下载到当前目录。当文件准备好之后，我们要修改配置，将Hadoop 简单 run 起来。首先，我们进入hadoop-0.20.2/conf目录当中，其中会存在如下配置文件：首先修改masters和 slaves ，这个是指定我们的m 和 s 的 ip 地址，这里我们
3、就以单台机器为例子，在文件中直接输入当前机器的IP。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - 之后我们修改mapred-site.xml文件，具体配置如下 Xml代码1. 2. 3. 4. 5. 6. 7. 8. mapred.job.tracker 9. hdfs:/192.168.216.57:8012 10. The host and port that the MapReduce job tracker runs
4、11. at. If local, then jobs are run in-process as a single map 12. and reduce task. 13. Pass in the jobtracker hostname via the 14. -Dhadoop.jobtracker=JOBTRACKER_HOST java option. 15. 16. 17. 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - -
5、 mapred.job.tracker hdfs:/192.168.216.57:8012 The host and port that the MapReduce job tracker runs at. If local, then jobs are run in-process as a single map and reduce task. Pass in the jobtracker hostname via the -Dhadoop.jobtracker=JOBTRACKER_HOST java option. job.tracker是关键， mapReduce会将一个 job ，
6、通过 map()，打散为 n名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - 个 task 。之后是对文件core-site.xml的配置，详细配置如下：Xml 代码1. 2. 3. 4. 5. 6. 7. 8. 9. fs.default.name 10. hdfs:/cap216057.sqa:9000 11. 12. 13. hadoop.tmp.dir 14. /home/admin/tmp/ 15. A base for
7、 other temporary directories. Set to a 16. directory off of the users home directory for the 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 8 页 - - - - - - - - - simple test. 17. 18. 19. 20. fs.default.name hdfs:/cap216057.sqa:9000 hadoop.tmp.dir /home/admin/tm
8、p/ A base for other temporary directories. Set to 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 8 页 - - - - - - - - - a directory off of the users home directory for the simple test. 这个主要是配置我们的文件系统。其中，fs.default.name的 value ，不可以写 IP 地址，要写域名。域名的查询，具体命令如下：cd cd
9、etc vi hosts 在 hosts文件中，找到自己IP 对应的域名。到此，Hadoop本身的配置就算完成了。但 hadoop会在 master/slaves之间进行文件的操作， 在机器之间操作时候， 就必须做到免登陆。 对此，我们就得设置相应的公钥私钥。具体命令如下：ssh-keygen -t rsa -P -P 表示密码， -P 就表示空密码，也可以不用-P 参数，这样就要三车回车，用-P 就一次回车。它在/ 下生成 .ssh 目录， .ssh 下有 id_rsa和 id_rsa.pub。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - -
10、- - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - 如果是多台机器，则需要将公钥id-rsa.pub通过 scp 到其他机器的相同目录。之后，追加公钥到相应文件，具体如下：cat id_rsa.pub .ssh/authorized_keys chmod 600 .ssh/authorized_keys 其中， authorized_keys要的权限是600 第一次登录是时要你输入yes ，之后就不用了。 OK ，所有均搞定了，进入hadoop-0.20.2/bin路径，直接执行start-all.sh脚本，即可启动Hadoop
11、的服务了。我们可以通过web 的方式，对Hadoop的运转进行监控，具体url 如下：控制台： http:/cap216057.sqa:50030/jobtracker.jsp 数据节点： http:/cap216057.sqa:50070/dfshealth.jsp cap216057.sqa可以再 hosts里配置，或者直接访问IP 地址。二、Hive 搭建Hive 搭建在 Hadoop的基础之上，相对就会简单很多。只需要设置Hadoop的HADOOP_HOME和 HIVE_HOME即可了。首先下载、 解压，此操作与商品Hadoop的操作一样。值得注意的是，Apache的官网上会提供 bi
12、n 和 dev 两种版本的压缩包。建议使用bin 版本。完成之后，如下操作：export HADOOP_HOME=/home/admin/hadoop-0.20.0/ 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 8 页 - - - - - - - - - export HIVE_HOME=/home/admin/hive-0.5.0-bin 完成命令， 直接在 hive/bin目录下启动hive ，启动端口任意写一个未被占用的即可。/hive -service hiveserver 10000 & 三、测试在 hive/bin目录下，输入 ./hive，进入 hive命令的控制台。执行hql ，就是 hive的sql 具体如下：create tables user(id,int); show tables; 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -