电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
Mapreduce是一种适用于大数据处理的重要并行计算框架，通过在大量集群节点上并行执行多个任务，极大地提高了数据的处理性能。然而，由于中间数据需要等到 Mapper任务完成之后才能被发送给 Reducer任务，由此导致的大量传输延迟成为 Mapreduce框架性能的重要瓶颈。为此，文中提出了一种面向 Mapreduce的中间数据传输流水线优化机制，将有效计算与中间数据传输解耦，以流水线的方式重叠执行各个阶段，有效隐藏数据传输开销。文中还给岀了中间数据传输流水线执行机制和实现策略，包括流水线划分、数据细分、数据归并和数据传输粒度等。在公开数据集上对所提中间数据传输流水线优化机制进行了评价，当 Shuffle数据量较大时，该优化机制比默认框架的整体性能提高了60.2%。
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 嵌入式_流水线
- 使用FPGA设计流水线的资料和程序详细概述 3次下载
- 关于ARM流水线的资料和分析 5次下载
- 一种基于混合社区的移动机会网络数据传输机制 0次下载
- DSP设计中的流水线数据相关问题解析 0次下载
- 一种系统化流水线控制方法_章其富 0次下载
- 一种基于流水线DA算法的数字下变频器_周云 2次下载
- 一种针对可重构处理器流水线简化编程的设计范式 0次下载
- 一种改进运放共享结构的11位流水线ADC设计 3次下载
- 一种基于40nmCMOS工艺12位60MHz流水线模数转换器 3次下载
- 电镀流水线的PLC控制 37次下载
- 基于流水线结构的多级数字混沌编码方案 32次下载
- 一种流水线存储的数据采集系统 36次下载
- 基于消息中间件的农电数据传输系统
- 一种流水线结构AD转换器的速度分析方法
- 网络数据传输速率的单位是什么 9.4k次阅读
- 以太网接口的数据传输原理详解 3.9k次阅读
- 新版本Jenkins推荐使用声明式流水线 1.2k次阅读
- Google GPipe为代表的流水线并行范式 1.9k次阅读
- 一个典型的流水线设计 2.2k次阅读
- 报文解析规则定义 流水线划分提取方案 1.7k次阅读
- CPU流水线优缺点 5.6k次阅读
- 一文详细了解流水线设计 5.9k次阅读
- FPGA中流水线的原因和方式 7.4k次阅读
- IEEE802.15.4协议的数据传输模型解析 5k次阅读
- 流水线设计的思想介绍与设计实例 8.9k次阅读
- 差分数据传输有什么优势? 1.1w次阅读
- 新专利介绍--一种基于超声波测量和GPRS数据传输的水表系统 1.4k次阅读
- 浅谈GPU的渲染流水线实现 4.1k次阅读
- 一文读懂处理器流水线 2.4w次阅读
上传资料赚积分下载排行
本周
- 1ECM96智能电测仪表使用说明书
- 3.41 MB | 7次下载 | 10 积分
- 2ECM72智能电测仪表使用说明书
- 2.07 MB | 2次下载 | 10 积分
- 3纳祥科技NX9020中文规格书，114 dB CODEC，国产替代CS4272
- 440.34 KB | 2次下载 | 免费
- 4 斯丹电子 | 磁传感技术在数据中心市场应用
- 614.56 KB | 2次下载 | 免费
- 5矽力杰 Silergy SY8303A 降压转换器 规格书 Datasheet 佰祥电子
- 815.36 KB | 1次下载 | 免费
- 6PC0815/PC0815A 850伏N沟道耗尽模式功率MOSFET技术手册
- 0.42 MB | 1次下载 | 免费
- 7WD1117产品规格书
- 763.67 KB | 1次下载 | 免费
- 8斯丹电子 | 数据中心传感器应用工程指南
- 6.95 MB | 次下载 | 免费
本月
- 1ECM96智能电测仪表使用说明书
- 3.41 MB | 7次下载 | 10 积分
- 2矽力杰 Silergy SY7215A 同步升压调节器 规格书 Datasheet 佰祥电子
- 1.12 MB | 5次下载 | 免费
- 3WTK6900FC 鼾声识别功能说明书V1
- 2.04 MB | 4次下载 | 免费
- 4SY50655 用于高输入电压应用的伪固定频率SSR反激式稳压器英文资料
- 1.01 MB | 3次下载 | 免费
- 5纳祥科技NX9020中文规格书，114 dB CODEC，国产替代CS4272
- 440.34 KB | 2次下载 | 免费
- 6SY52341 次级侧同步整流英文手册
- 0.94 MB | 2次下载 | 免费
- 7华润微 CRTE280P06L2-G -60V Trench P-MOSFET 技术参数与应用解析
- 1.83 MB | 2次下载 | 免费
- 8 斯丹电子 | 磁传感技术在数据中心市场应用
- 614.56 KB | 2次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935137次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420064次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233095次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191469次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183360次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81606次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73832次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65991次下载 | 10 积分
工商网监
评论