Spark渐进填充分区映射算法
大小:1.17 MB 人气: 2018-01-14 需要积分:3
标签:SPARK(19585)
分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
Spark渐进填充分区映射算法下载
相关电子资料下载
- DeepSpark 开源社区百大应用开放平台23.09版本正式发布 51
- RT-Thread SPARK CAN的通信内核详解 334
- Spark Connected与英飞凌面向市场推出Yeti 的500 W无线充电解决方案 315
- NVIDIA 携手腾讯开发和优化 Spark UCX 实现性能跃升 224
- 基于RT-SPARK 1的物联网-温湿度报警器设计方案 239
- 一种基于STM32F407-RT-SPARK开发板的智能花盆设计案例 1297
- DeepSpark 开源社区百大应用开放平台23.06版本正式发布 212
- 传音移动互联DataSparkle为非洲数字经济研究提供数据支撑 141
- 为Spark ML算法提供GPU加速度 337
- Spark 3.4用于分布式模型训练和大规模模型推理 349