《mapreduceonyarn的工作流程.pdf》由会员分享，可在线阅读，更多相关《mapreduceonyarn的工作流程.pdf（3页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 mapreduceonyarn 的工作流程 当 client 提交一个任务后 ,首先 resourceManger(RM)来调度出一个 container,这个 container 是在 nodeManger(NM)运作的,client 直接和这个 container 所在的 NM 进行通信,在这个 container 中启动 applicationMaster(AM),启动成功之后,这个 AM 将全权负责此次任务的进度,失败原因(在一次 job 中只有一个 AM).AM 会计算此次任务所需的资源,然后向 RM 申请资源,得到一组供 map/reduce task运行的 container,
2、然后协同 NM 一起对每个 container 执行一些必要的任务,在任务执行 过程中,AM 会一直监视着任务的运行进度,若中间某个 NM 上的 container 中的任务失败,那么 AM 会重新找一台节点来运行此任务.流程如下 :MRv2 运行流程：resourceManager(RM)提交一个 job MR JobClient 向 RM 向 Scheduler 请求一个供 MR AM 运行的 container，然后启动它 MR AM 启动起来后向 RM 注册 MR JobClient 向 RM 获取到 MR AM 相关的信息，然后直接与 MR AM 进行通信 MR AM 计算 spli
3、ts 并为所有的 map 构造资源请求 MR AM 做一些必要的 MR OutputCommitter 的准备 工作 MR AM 向 RM(Scheduler)发起资源请求，得到一组 供 map/reduce task 运行的 container，然后与 NM 一起对每一个 container 执行一些必要的任务，包括资源本地化等 MR AM 监视运行着的 task 直到完成，当 task 失败时，申请新的 container 运行失败的 task 当每个 map/reduce task 完成后，MR AM 运行 MR OutputCommitter 的 cleanup 代码，也就是进行一些收尾工作 当所有的 map/reduce 完成后，MR AM 运行 OutputCommitter 的必要的 job commit 或者 abort APIs MR AM 退出。