资料介绍
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager 将各个资源部分(计算、内存、带宽等)精心安排给基础 NodeManager(YARN 的每节点代理)。ResourceManager 还与 ApplicationMaster 一起分配资源,与 NodeManager 一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster 承担了以前的 TaskTracker 的一些角色,ResourceManager 承担了 JobTracker 的角色。ApplicationMaster 管理一个在 YARN 内运行的应用程序的每个实例。ApplicationMaster 负责协调来自 ResourceManager 的资源,并通过 NodeManager 监视容器的执行和资源使用(CPU、内存等的资源分配)。请注意,尽管目前的资源更加传统(CPU 核心、内存),但未来会带来基于手头任务的新资源类型(比如图形处理单元或专用处理设备)。从 YARN 角度讲,ApplicationMaster 是用户代码,因此存在潜在的安全问题。YARN 假设 ApplicationMaster 存在错误或者甚至是恶意的,因此将它们当作无特权的代码对待。NodeManager 管理一个 YARN 集群中的每个节点。NodeManager 提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1 通过插槽管理 Map 和 Reduce 任务的执行,而 NodeManager 管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN 继续使用 HDFS 层。它的主要 NameNode 用于元数据服务,而 DataNode 用于分散在一个集群中的复制存储服务。要使用一个 YARN 集群,首先需要来自包含一个应用程序的客户的请求。ResourceManager 协商一个容器的必要资源,启动一个 ApplicationMaster 来表示已提交的应用程序。通过使用一个资源请求协议,ApplicationMaster 协商每个节点上供应用程序使用的资源容器。执行应用程序时,ApplicationMaster 监视容器直到完成。当应用程序完成时,ApplicationMaster 从 ResourceManager 注销其容器,执行周期就完成了。
- 解决win10资源管理器关后电脑黑屏问题 2次下载
- 移动云计算中运营商能耗资源管理模型 13次下载
- 拟态通用运行环境的资源管理调度及框架 6次下载
- 如何通过YARN设计分布式资源动态调度协同分配系统 12次下载
- TCMD750A应用程序非常好的软件比资源管理器好用得多 6次下载
- 弄个取资源管理器选中文件或文件夹名称 11次下载
- Delphi教程_新颖的资源管理器界面 10次下载
- 基于树形的网格资源管理研究 15次下载
- TD-SCDMA系统无线资源管理 16次下载
- 网格资源管理模型研究 15次下载
- WCDMA无线资源管理综述 65次下载
- WCDMA无线资源管理 5次下载
- WCDMA无线资源管理综述 4次下载
- TD-SCDMA无线资源管理 20次下载
- TD-SCDMA无线资源管理算法 38次下载
- 如何在层堆栈管理器中定义单层板? 330次阅读
- Oracle:数据库开发和管理的工具 380次阅读
- 使用LABwindows/CVI软件搭建学生管理器界面(一) 3289次阅读
- Linux微服务架构中容错隔离的详细资料技术 3114次阅读
- ES文件管理器存在漏洞或将影响1亿Android用户 3189次阅读
- 密钥管理系统概述_密钥管理系统架构图 1.3w次阅读
- vscode怎么编译运行 9.6w次阅读
- re管理器如何修改机型 8434次阅读
- 什么是re文件管理器_re管理器有什么用 1.6w次阅读
- re管理器进入编辑文件方法 4341次阅读
- re管理器删除系统软件操作方法 1.2w次阅读
- 2g3g4g网络有什么区别 4.3w次阅读
- 卫星频率及轨道资源管理分析 1w次阅读
- Linux系统内存管理的特点详解 3669次阅读
- 计算网格资源管理优化技术和相关算法研究 809次阅读
下载排行
本周
- 1储能电源市场分析
- 7.99 MB | 6次下载 | 免费
- 2储能电源市场分析报告
- 2.61 MB | 6次下载 | 免费
- 3具有DCS-Control™ 功能的 3V 到 17V 0.5A 降压转换器TPS6217x-Q1数据表
- 3.17MB | 1次下载 | 免费
- 4磁环电感定制时应该注意什么
- 0.32 MB | 1次下载 | 免费
- 5高效降压转换器 MicroSiP™模块TPS82084 (2-A)/TPS82085 (3-A)数据表
- 1.75MB | 次下载 | 免费
- 6采用DSBGA封装的LMR24210 42V 输入电压、2A 降压稳压器数据表
- 1.82MB | 次下载 | 免费
- 7采用增强型Hotrod™ QFN封装的TPSM560R6 60V输入、1V至6V输出、600mA 电源模块 数据表
- 2.06MB | 次下载 | 免费
- 8具有外部参考输入的低引脚数、低VIN(3.0伏至5.5伏)同步降压DC-TO-DC控制器数据表
- 1.18MB | 次下载 | 免费
本月
- 1ES9038PRO解码芯片的电路原理图介绍
- 0.25 MB | 35次下载 | 5 积分
- 2UHD智能显示SoC VS680产品简介
- 0.46 MB | 11次下载 | 免费
- 3STM32国内外发展现状
- 1.15 MB | 11次下载 | 免费
- 4ATmega8芯片中文手册
- 2.45 MB | 8次下载 | 1 积分
- 5TDK电容器产品指南
- 11.88 MB | 7次下载 | 1 积分
- 616A 输出电流,高可靠、高效率 同步降压转换器PCD3201产品手册
- 0.47 MB | 6次下载 | 免费
- 7传感芯片选型指南
- 3.60 MB | 6次下载 | 免费
- 8储能电源市场分析
- 7.99 MB | 6次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935086次下载 | 免费
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420050次下载 | 免费
- 3Altium DXP2002下载入口
- 未知 | 233068次下载 | 免费
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191316次下载 | 免费
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183316次下载 | 免费
- 6labview8.5下载
- 未知 | 81567次下载 | 免费
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73786次下载 | 免费
- 8NI LabVIEW中实现3D视觉的工具和技术
- 未知 | 70088次下载 | 免费
评论
查看更多