资料介绍
针对官方的Hadoop软件中提供的节点心跳超时容错机制对短作业并不合理,而且忽略了异构集群中各节点超期时间设置的公平性的问题,提出了公平心跳超时容错机制。首先根据每个节点的可靠性及计算性能构建节点故障误判损失模型,提出公平误判损失(FMJL)算法,使其同时满足长作业和短作业要求;接着,设计并实现了基于FMJL算法的公平超时机制。在实现了公平超时机制的Hadoop上运行大约345 s的短作业时,当出现TaskTracker节点故障时作业完成时间平均大约节省了44%,与自适应超时机制相比,作业完成时间大约节省了23%。实验结果表明,公平超时机制在保证不影响长作业完成时间的情况下缩短了短作业的容错处理时间,提高了Hadoop的实时处理效率。
容错
加入交流群
扫码添加小助手
加入工程师交流群
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 基于注意力机制的新闻文本分类模型 30次下载
- 基于FPGA块存储器的多位反转容错 19次下载
- 下行非正交多址接入系统的公平资源分配算法 4次下载
- 电机制动器拆卸安装教程课件下载 3次下载
- 一种分层共识优化机制TDH-PBFT 10次下载
- 主动容错技术如何提高存储系统的可靠性详细算法模型资料说明 9次下载
- 基于虚拟化的仿真系统容错方法 0次下载
- 多路径缠绕模型及其容错路由机制 0次下载
- TCP的超时与重传的全面解说 7次下载
- 基于WindowsSocket的网络通信中的心跳机制原理及其实现 6次下载
- 基于心跳消息的VANET安全应用性能分析 26次下载
- 基于模糊流感知的动态优先公平调度算法
- 一种基于星型结构的移动代理的容错模型
- 嵌入式系统的超时控制及其应用
- 基于ARP缓存超时的中间人攻击检测方法
- Feign的超时时间如何设置呢? 1.9k次阅读
- IC设计:一种简单超时机制 905次阅读
- LED单色屏发送超时的原因分析 5.9k次阅读
- 影响报文超时上报的机制有哪些 3.1k次阅读
- STM32程序超时设计 1.9k次阅读
- 超时逻辑在OpenHarmony中的实现 1.3k次阅读
- 基于有限状态机的FlexRay时钟同步机制 4.6k次阅读
- 基于容量证明的共识机制PoC介绍 2.7k次阅读
- 如何注册SERO Staking机制 1.3k次阅读
- 如何使算法公平?如何定义“公平”? 5.1k次阅读
- 关于一种面向异步FIFO的低开销容错机制研究 3.8k次阅读
- 一文读懂双机热备份和单机容错的区别 5.3k次阅读
- 一文读懂容错与冗余技术 2.1w次阅读
- 基于AD620芯片的心跳速率检测 1.1w次阅读
- 一文读懂如何解决MySQL数据库超时配置问题 8k次阅读
下载排行
本周
- 1MDD品牌三极管MMBT3906数据手册
- 2.33 MB | 次下载 | 免费
- 2MDD品牌三极管S9012数据手册
- 2.62 MB | 次下载 | 免费
- 3联想flex2-14D/15D说明书
- 4.92 MB | 次下载 | 免费
- 4收音环绕扩音机 AVR-1507手册
- 2.50 MB | 次下载 | 免费
- 524Pin Type-C连接器设计报告
- 1.06 MB | 次下载 | 免费
- 6新一代网络可视化(NPB 2.0)
- 3.40 MB | 次下载 | 免费
- 7MS1000TA 超声波测量模拟前端芯片技术手册
- 0.60 MB | 次下载 | 免费
- 8MS1022高精度时间测量(TDC)电路数据手册
- 1.81 MB | 次下载 | 免费
本月
- 1爱华AIWA HS-J202维修手册
- 3.34 MB | 37次下载 | 免费
- 2PC5502负载均流控制电路数据手册
- 1.63 MB | 23次下载 | 免费
- 3NB-IoT芯片厂商的资料说明
- 0.31 MB | 22次下载 | 1 积分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供电电路图资料
- 0.63 MB | 6次下载 | 1 积分
- 5UWB653Pro USB口测距通信定位模块规格书
- 838.47 KB | 5次下载 | 免费
- 6技嘉H110主板IT8628E_BX IO电路图资料
- 2.61 MB | 4次下载 | 1 积分
- 7苏泊尔DCL6907(即CHK-S007)单芯片电磁炉原理图资料
- 0.04 MB | 4次下载 | 1 积分
- 8100W准谐振反激式恒流电源电路图资料
- 0.09 MB | 2次下载 | 1 积分
总榜
- 1matlab软件下载入口
- 未知 | 935137次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420064次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233089次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191439次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183353次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81602次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73822次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65991次下载 | 10 积分
电子发烧友App





创作
发文章
发帖
提问
发资料
发视频
上传资料赚积分
评论