资料介绍
随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.O上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。

- 自适应反馈消除 3
- 基于桥式吊车系统的分组自适应控制策略 22次下载
- 一种基于自适应邻域策略的改进算法 10次下载
- 异构环境下的多DAG任务调度算法综述 13次下载
- 面向异构领域自适应的联合信息保持算法 5次下载
- 基于节点分布自适应的WSN覆盖控制优化策略 25次下载
- 总线负载的自适应频率调节 2次下载
- 自适应元数据服务负载均衡策略 0次下载
- 一种新的调度策略优化Spark在异构集群下表现 0次下载
- 基于Ubuntu的Hadoop集群安装与配置 8次下载
- 异构集群服务器的动态加权负载均衡算法
- 基于有限反馈的数据流数自适应SDMA
- 基于反馈的带宽自适应无线监控系统
- 结构化P2P自适应混合负载均衡策略
- 树型网格计算环境下的自适应任务调度算法
- 虚拟机:Hadoop集群的配置 2811次阅读
- 虚拟机:Hadoop集群的搭建 3219次阅读
- 工业机器人自适应运动控制技术 2043次阅读
- 汽车开关的关键技术自适应触觉的详细介绍 2084次阅读
- 什么是Hadoop? Spark和Hadoop对比 6845次阅读
- 自适应控制的优缺点_自适应控制存在的问题及发展 5w次阅读
- 什么是自适应控制_自适应控制基本原理 5.6w次阅读
- hadoop云存储解决方案 6578次阅读
- hadoop基础知识介绍_hadoop是什么语言开发的_hadoop能做什么 3.9w次阅读
- hadoop技术原理总结 4236次阅读
- hadoop优缺点分析 1.7w次阅读
- 自适应滤波算法理解与应用 2.5w次阅读
- 自适应滤波器的作用、原理以及相关应用 2.1w次阅读
- 浅析Hadoop集群硬件选择 1699次阅读
- 基于DSP的自适应滤波器的设计方案 8743次阅读
下载排行
本周
- 1DC电源插座图纸
- 0.67 MB | 2次下载 | 免费
- 2AN158 GD32VW553 Wi-Fi开发指南
- 1.51MB | 2次下载 | 免费
- 3AN148 GD32VW553射频硬件开发指南
- 2.07MB | 1次下载 | 免费
- 4AN111-LTC3219用户指南
- 84.32KB | 次下载 | 免费
- 5AN153-用于电源系统管理的Linduino
- 1.38MB | 次下载 | 免费
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下载 | 免费
- 7SM2018E 支持可控硅调光线性恒流控制芯片
- 402.24 KB | 次下载 | 免费
- 8AN-1308: 电流检测放大器共模阶跃响应
- 545.42KB | 次下载 | 免费
本月
- 1ADI高性能电源管理解决方案
- 2.43 MB | 450次下载 | 免费
- 2免费开源CC3D飞控资料(电路图&PCB源文件、BOM、
- 5.67 MB | 138次下载 | 1 积分
- 3基于STM32单片机智能手环心率计步器体温显示设计
- 0.10 MB | 130次下载 | 免费
- 4使用单片机实现七人表决器的程序和仿真资料免费下载
- 2.96 MB | 44次下载 | 免费
- 53314A函数发生器维修手册
- 16.30 MB | 31次下载 | 免费
- 6美的电磁炉维修手册大全
- 1.56 MB | 24次下载 | 5 积分
- 7如何正确测试电源的纹波
- 0.36 MB | 17次下载 | 免费
- 8感应笔电路图
- 0.06 MB | 10次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935121次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420062次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233088次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191367次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183335次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81581次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73810次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65988次下载 | 10 积分
电子发烧友App






创作
发文章
发帖
提问
发资料
发视频
上传资料赚积分
评论