MapReduce是怎么和yarn连接到一起的?

　　MapReduce是一种用于分布式计算的编程模型，而YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理器。它们一起工作以实现在Hadoop集群上执行MapReduce作业。以下是MapReduce如何与YARN连接在一起的详细说明：

　　1.Hadoop生态系统：

　　MapReduce和YARN都是Hadoop生态系统的一部分，它们协同工作来处理大规模数据集。Hadoop生态系统还包括Hadoop分布式文件系统(HDFS)等其他组件。

　　2.YARN架构：

　　YARN是Hadoop的资源管理器，负责在集群上分配和管理资源。它包括以下关键组件：

　　·ResourceManager(RM)：全局资源管理器，负责集群资源的分配和管理。

　　·NodeManager(NM)：运行在每个节点上的代理，负责监控该节点上的资源使用情况。

　　·ApplicationMaster(AM)：每个应用程序(例如MapReduce作业)都有一个独立的AM，它负责协调任务的执行和资源的申请。

　　3.MapReduce框架：

　　MapReduce作业被分为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，输入数据被拆分成小块，每个块由一个Mapper任务处理。在Reduce阶段，Mapper的输出被分组和排序，然后由多个Reducer任务聚合结果。

　　4.MapReduce与YARN连接：

　　MapReduce作业在YARN上运行时，以下是它们是如何连接的：

　　·作业提交：当用户提交MapReduce作业时，作业客户端(JobClient)会将作业描述(作业配置、Mapper和Reducer类等)发送给YARN ResourceManager。

　　·资源分配：YARN ResourceManager分配一个容器(container)来运行作业的ApplicationMaster。这个容器包括资源(CPU、内存等)和作业所需的所有依赖。

　　·ApplicationMaster启动：一旦分配了容器，YARN会启动MapReduce作业的ApplicationMaster进程。ApplicationMaster是作业的主管，负责与ResourceManager通信，并协调作业的执行。

　　·任务分配：ApplicationMaster与YARN ResourceManager协商资源分配，以便启动Mapper和Reducer任务。它将任务分配给可用的NodeManager，以便在集群中运行任务。

　　·任务执行：NodeManager上的任务进程(Mapper或Reducer)开始执行，并将输出写入HDFS或其他指定位置。

　　·进度和状态监控：ApplicationMaster负责监控任务的进度和状态，并将相关信息传递给YARN ResourceManager。这使得ResourceManager能够了解作业的整体状态。

　　·作业完成：一旦所有任务都完成，ApplicationMaster会通知ResourceManager，然后它可以释放分配给该作业的资源。

　　5.错误处理：

　　YARN ResourceManager和ApplicationMaster会协同处理错误和故障情况，以确保作业的可靠执行。如果某个任务失败，它可以重新分配到另一个节点上运行。

　　总之，MapReduce与YARN紧密集成，通过YARN的资源管理和任务调度功能来实现在Hadoop集群上执行分布式MapReduce作业。这种集成允许有效地利用集群资源，并提供高可用性和容错性。