《大数据技术基础实验报告-MapReduce编程.docx》由会员分享，可在线阅读，更多相关《大数据技术基础实验报告-MapReduce编程.docx（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据技术基础实验报告-MapReduce编程实验内容：（一）安装 Hadoop-Eclipse-Plugin要在Eclipse上编译和运行MapReduce程序，需要安装hadoop-eclipse-plugin, 可下载 Github 上的 hadoop2x-eclipse-plugin。下载后，将 release 中 的 hadoop-eclipse-kepler-plugin-2.6.0.jar 复制到 Eclipse 安装 目录的 plugins 文件 夹中，运行eclipse -clean重启Eclipse即可（添加插件后只需要运行一次该命 令，以后按照正常方式启动就行了）。unz
2、ip -qo /TWhadoop2x-eclipse-plugin-master.zip -d /下载 # 解压到 /下载中sudocp/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/ # 复制到 eclipse 安装目录的 plugins 目录下/usr/lib/eclipse/eclipse -clean #添加插件后需要用这种方式使插件生效配置Hadoop-Eclipse-Plugin在继续配置前请确保已经开启了 Hadoop。启动Ecl
3、ipse后就可以在左侧的Project Explorer中看到DFS Locations （若看到的 是welcome界面，点击左上角的x关闭就可以看到了。CentOS需要切换 Perspective后才能看到，即接下来配置步骤的安装好Hadoop-Eclipse-Plugin插件后的效果安装好Hadoop-Eclipse-Plugin插件后 的效果插件需要进一步的配置。第一步：选择 Window菜单下的Preference第二步：切换 Map/Reduce开发视图，选择 Window菜单下选择Open Perspective - Other （CentOS 是 Window - Perspe
4、ctive - Open Perspective - Other）,弹出一个窗体，从中选择Map/Reduce选项即可进行切换。第三步：建立与Hadoop集群的连接，点击Eclipse软件右下角的Map/Reduce Locations面板,在面板中单击右键，选择New Hadoop Locationo建立与Hadoop集群的连接建立与Hadoop集群的连接配置好后，点击左侧Project Explorer中的MapReduce Location （点击三角形展 开）就能直接查看HDFS中的文件列表了（HDFS中要有文件，如下图是 WordCount的输出结果），双击可以查看内容，右键点击可以
5、上传、下载、删 除HDFS中的文件，无需再通过繁琐的hdfs dfs -Is等命令进行操作了。以下output/part-r-00000文件记录了输出结果。点击查看HDFS文件系统数据的 三种方法可进行扩展学习。使用Eclipse查看HDFS中的文件内容使用Eclipse查看HDFS中的文件内容如果无法查看，可右键点击Location尝试Reconnect或重启Eclipse。TipsHDFS中的内容变动后，Eclipse不会同步刷新，需要右键点击Project Explorer 中的MapReduce Location,选择Refresh,才能看到变动后的文件。在Eclipse中创建 Map
6、Reduce项目点击 File 菜单，选择 New - Project-:仓ll建 Project 仓ll建 Project选择 Map/Reduce Project,点击 Next。创建MapReduce项目创建MapReduce项目填写Project name为WordCount即可，点击Finish就创建好了项目。填写项目名填写项目名此时在左侧的Project Explorer就能看到刚才建立的项目了。项目创建完成项目创建完成接着右键点击刚创建的WordCount项目，选择New - Class新建Class新建Class需要填写两个地方：在Package处填写；在Name 处填写 Wo
7、rdCounto填写Class信息填写Class信息创建Class完成后，在Project的src中就能看到WordCount.java这个文件。 将如下WordCount的代码复制到该文件中。通过 Eclipse 运行 MapReduce实验基本过程：1：安装 Hadoop-Eclipse-Plugin2：启动Eclipse后就可以在左侧的Project Explorer中看到DFS Locations （若看 到的是welcome界面，点击左上角的x关闭就可以看到了。CentOS需要切换 Perspective后才能看到，即接下来用置步骤的_安装好Hadoop-Eclipse-Plugin
8、插件后的效果安装好Hadoop-Eclipse-Plugin插件后 的效果插件需要进一步的配置。第一步：选择 Window菜单下的Preference第二步：切换 Map/Reduce开发视图，选择 Window菜单下选择Open Perspective - Other （CentOS 是 Window - Perspective - Open Perspective - Other）,弹出一个窗体，从中选择Map/Reduce选项即可进行切换。第三步：建立与Hadoop集群的连接，点击Eclipse软件右下角的Map/Reduce Locations面板,在面板中单击右键，选择New Had
9、oop Locationo建立与Hadoop集群的连接建立与Hadoop集群的连接实验结果:1 Problems Tasks Javadoc Map/Reduce Locations Console 汉 WordCount Java Application /usr/lib/jvm/java-7-openjdk-amd64/bin/jaPhysical (bytes) snapshotsVirtual memory (bytes) snapshotsTotal comitted heap usaje (bytes)=9197584384Shuffle ErrorsBADJDOacmcN=oI0
10、-ERRX)TOJG_REDia=OFile I磔ut Fonnat CountersBytes RBad=45904File Output Format ChuntersBytes 陆itterF249ET7疑难小结（总结实验中遇到的问题）：HMaster启动之后立即又关闭问题分析：可能是zookeeper不稳定造成的，解决办法：停止 zookeeper 服务(bin/zkServer.sh stop zool.cfg bin/zkServer.sh stop zoo2.cfg bin/zkServer.sh stop zoo3.cfg ),再重新启动二：15/08/23 11:10:07
11、INFO mapreduceJobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamerl735608800/.staging/jobjo call735608800_0001Exception in thread main” ExitCodeException exitCode=l: chmod:无法访问 /usr/local/hadoop/tmp/mapred/staging/thinkgameriySSeOSSOO/.staging/jobJocal 1735
12、608800_0001H:没有那个文件或目录 问题分析：eclipse的配置文件缺少解决办法：把配置hadoop 口寸所修改的配置文件全部复制到src文件夹下* Exception in thread main” org.apache.hadoop.mapred.FileAlreadyExistsException:Output directory hdfs:/localhost:9000/thinkgamer/output already exists问题分析：hdfs文件系统中的output文件夹已经存在解决办法：删除即可(同时还可能出现找不到input目录的问题，此时注意检查 input
13、路径)主要操作过程：配置好后，点击左侧Project Explorer中的MapReduce Location （点击三角形展 开）就能直接查看HDFS中的文件列表了（HDFS中要有文件，如下图是 WordCount的输出结果），双击可以查看内容，右键点击可以上传、下载、删 除HDFS中的文件，无需再通过繁琐的hdfs dfs -Is等命令进行操作了。HDFS中的内容变动后，Eclipse不会同步刷新，需要右键点击Project Explorer 中的MapReduce Location,选择Refresh,才能看到变动后的文件。在Eclipse中创建 MapReduce项目点击 File 菜
14、单，选择 New - Project.:填写Project name为 WordCount即可，点击Finish就创建好了项目。接着右键点击刚创建的WordCount项目，选择New - Class需要填写两个地方：在Package处填写；在Name 处填写 WordCounto创建Class完成后，在Project的src中就能看到WordCount.java这个文件。将WordCount的代码复制到该文件中。通过 Eclipse 运行 MapReduce在运行MapReduce程序前，还需要执行一项重要操作（也就是上面提到的通过 复制配置文件解决参数设置问题）：将/usr/local/ha
15、doop/etc/hadoop中将有修 改过的配置文件（如伪分布式需要core-site.xml和hdfs-site.xml）,以及Iog4j.properties 复制至UWordCount 项目下的 src 文件夹（/workspace/WordCount/src）中：没有复制这些文件的话程序将无法正确运行，本教程最后再解释为什么需要复制 这些文件。复制完成后，务必右键点击WordCount选择refresh进行刷新（不会自动刷新, 需要手动刷新），可以看到文件结构如下所示：点击工具栏中的Run图标，或者右键点击Project Explorer中的 WordCount.java,选择 Ru
16、n As - Run on Hadoop,就可以运行 MapReduce 程序 了。不过由于没有指定参数，运行时会提示Usage: wordcount ，需要通过Eclipse 设定一下运行参数。右键点击刚创建的 WordCount.java,选择 Run As - Run Configurations,在此处 可以设置运行时的相关参数（如果Java Application下面没有WordCount,那么 需要先双击 Java Application）。切换到Arguments” 栏，在 Program arguments 处填写input output就可以了。至此，就可以使用Eclipse方便的进行MapReduce程序的开发了。