《2022年Hadoop开发环境eclipse搭建 .pdf》由会员分享，可在线阅读，更多相关《2022年Hadoop开发环境eclipse搭建 .pdf（14页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1.1. 文档说明本文档包含使用eclipse 开发工具基于hadoop平台开发Map/Reduce的说明和示例。2. 开发前准备下面所述中除了MR 要安装在服务器上之外，其他的都是需要在本地开发环境上安装。2.1. 安装 MR 由于 Map/Reduce 的运行依赖于MR，所以要提前将MR 安装在服务器上，并且保证MR 的 hdfs 和 mr 进程运行正常。 同时复制 MR 到本地，解压到任意目录， 供本地开发使用，服务器上MR 的安装请参考MR 相关安装手册。2.2. 安装 Cygwin 如果本地开发环境的操作系统是Windows，需要先安装Cygwin，如果是Linux 则不需要。2.2
2、.1. Cygwin 的安装如果只是 Dmp 的本地开发可以不安装Cygwin；Cygwin 可以在 windows 环境下安装一个 linux 模拟环境来进行调试。在安装 Cygwin 之前，得先下载Cygwin 安装程序setup-x86.exe。Cygwin 安装程序下载地址：http:/ ，本教程下载的是Cygwin2.819 （32bit）版本。Cygwin 安装程序的存放目录可随意无要求。当下载成功后，运行setup-x86.exe，弹出如下图所示的对话框：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理
3、 - - - - - - - 第 1 页，共 14 页 - - - - - - - - - 在上图所示的对话框中，直接点击“下一步”，进入如下图所示的对话框：在上图所示的对话框中，选择“Install from Internet ” ，然后点击“下一步” ，进入如下图所示对话框：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 14 页 - - - - - - - - - 在上图所示的对话框中，设置Cygwin 的安装目录，Install For 选择“ All Users
4、 ” ，Default Text File Type 选择“ Unix/binary ” ，然后点击“下一步” ，进入如下图所示对话框：在上图所示的对话框中，设置Cygwin 安装包存放目录，然后点击“下一步”，进入如下图所示对话框：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 14 页 - - - - - - - - - 在上图所示的对话框中，根据实际网络情况选择连网方式，然后点击“下一步”，如果进入如下图所示对话框：在上图所示的对话框中，点击“下一步”，将进入如下图
5、所示的对话框：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 14 页 - - - - - - - - - 进入“ Select Packages ”对话框后，必须保证“Net Category”下的“ OpenSSL 和 openssh ”被安装，如下图所示：如果还打算在eclipse 上编译 Hadoop，则还必须安装“Base Category”下的“ sed” ，如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - -
6、- - - - - - 名师精心整理 - - - - - - - 第 5 页，共 14 页 - - - - - - - - - 当完成上述操作后，点击“Select Packages ”对话框中“下一步” ，进入 Cygwin 安装包下载过程，如下图所示：等待安装包下载完毕，当下载完后，会自动进入到如下图所示的对话框：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 14 页 - - - - - - - - - 在上图所示的对话框中，选中“Create icon on De
7、sktop ” ，以方便直接从桌面上启动Cygwin ，然后点击“完成”按钮。至此，Cgywin 已经安装完。2.2.2. 配置环境变量Cygwin 的 bin 目录，以及Cygwin 的 usrsbin 目录都必须添加到PATH 环境变量中，如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 14 页 - - - - - - - - - 2.2.3. 安装 sshd 服务点击桌面上的Cygwin 图标，启动Cygwin ，执行 ssh-host-config 命
8、令，如下图所示：在执行 ssh-host-config 时，当要求输入yes/no 时，选择输入yes，如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 14 页 - - - - - - - - - 当出现提示是否要将sshd作为 windows 服务安装时，选择yes 然后出现下图所示时输入：ntsec 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第
9、 9 页，共 14 页 - - - - - - - - - 完成配置，如下图所示：2.2.4. 启动 sshd 服务在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入Windows 计算机管理，如下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 14 页 - - - - - - - - - 在上图所示的对话框中，选中“CYGWIN sshd ” ，弹出右键，并启动CYGWIN sshd 服务，成功后，如下图所示：当 CYGWIN sshd 的状态为“已
10、启动”后，接下来就是配置ssh 登录。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 14 页 - - - - - - - - - 2.2.5. 配置 ssh 登录执行 ssh-keygen命令生成密钥文件，需要输入时，直接按回车键即可，如果不出错，应当是需要三次按回车键。接下来生成authorized_keys 文件：cd .ssh/ cat id_rsa.pub authorized_keys 完成上述操作后，执行exit命令先退出 Cygwin窗口，至此，配置ss
11、h 登录成功，下面就可以开始安装 DMP了。 . 2.3. 安装 JDK JDK 安装此处不再详述，需要注意的是JDK 必须是 1.6 或以上版本，建议使用最新的1.7 版本。安装完成后需要配置环境变量JAVA_HOME 指向 JDK 安装目录； JDK 的 bin 目录需添加到Path 环境变量中。2.4. 安装 eclipse 和 eclipse 插件2.4.1. 安装 eclipse 下载 eclipse4.2 或者更高版本，解压到安装目录即可使用。建议使用公司的Cloud-IDE集成开发环境，到下面地址下载最新版本的Cloud-IDE。http:/10.46.182.20:8080/U
12、MAP/update/download.html 2.4.2. 安装 hadoop插件复制Hadoop版本插件hadoop-2.0.0-cdh4.1.5-eclipse-plugin.jar 到 eclipse安装目录 /plugins/ 下，其中插件是自己从网上下载的与hadoop版本配套的插件版本，重启 eclipse 。如果安装插件成功，打开Window-Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory，输入在本地 MR 解压后所在的目录（hadoop中的所有lib 需要在此目录下） ，如
13、下图所示：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 14 页 - - - - - - - - - 点击 OK ，回到 eclipse主界面，然后点击window-Show View-Other，找到Map/Reduce Locations并选中，如下所示：点击 OK ，回到 eclipse主界面，在Map/Reduce Locations视图中依此点击右键，选择New Hadoop location，出现如下图所示：名师资料总结 - - -精品资料欢迎下载 - -
14、 - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 14 页 - - - - - - - - - 其中 Location name是用来标识当前配置的，由用户自定义，在Map/Reduce Master选项卡里Host 为安装好的MR 服务器（ jobtracker）的 IP 地址或域名， Port 为服务器上jobtracker的监听端口， DFS Master选项卡里 Host 为安装好的MR 服务器（NameNode）的 IP 地址或域名，如果与jobtracker同在一台机器上则勾选Use M/R Master host，端口为 NameNode的监听端口， User name为使用 shell命令的用户名，使用默认配置即可，点击 Finish完成插件的配置。 点击 DFS Locations-Hadoop如果能显示文件夹(2)说明配置正确，如果不能正确连接，请检查你的配置。至此，所有的准备工作完成了，可以开始开发业务所需要的Map/Reduce 程序了！名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 14 页 - - - - - - - - -