电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
随着大数据应用的普及,高效可扩展的数据流操作在实时分析处理中扮演着越来越重要的角色.分布式并行处理架构是应对大流量、低延时数据流处理任务的一种有效解决方案.然而在 Key-based 分组并行处理中,由于数据的倾斜分布及数据流本身的实时、动态和数据规模不可预知等特性,使得数据流分布并行处理系统存在持续且动态负载不均衡现象,这会造成系统时效性降低、硬件资源浪费等问题.现有的研究工作处理均衡负载有两种方案:(1) 基于 key 粒度的迁移,使得并行处理节点负载达到均衡;(2) 基于元组粒度级别的拆分,采用随机分发使系统均衡.前者将系统调整至给定的均衡容忍范围内,类似于一维装箱的 NP 问题;后者对 key 的拆分势必带来新的为维护 Key-based 操作的正确性而增加的额外代价,如内存及网络通信成本.综合两种方法,提出对 key 按需拆分、尽量合并的方法,通过轻量级均衡调整算法以及保证 Key-based 操作特性的拆分方法,使系统既能达到后者的均衡,又能减少细粒度均衡所带来的额外代价。
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 虚拟化模型驱动的分布式数据湖架构设计 5次下载
- 空间文本数据流上连续查询评估技术应用 7次下载
- 基于分布式数据Cache的实时动态迁移机制 20次下载
- 基于预分区策略的分布式数据存储方法 18次下载
- 区块链中的分布式数据库管理系统相关研究 8次下载
- 一种面向高性能计算的分布式对象存储系统 0次下载
- 一种应对倾斜数据流在线连接的方法 0次下载
- 大数据环境下的分布式数据流处理关键技术探析 0次下载
- 数据流编程模型优化 3次下载
- 分布式AP选择策略在室内定位中的应用_葛柳飞 1次下载
- 含多种分布式电源的微电网控制策略 19次下载
- 一种模块化多电平换流器分布式均压控制策略_罗永捷 0次下载
- 分布式电驱动车辆回馈制动控制策略研究 0次下载
- 一种健壮的计算安全的分布式密钥分发方案 22次下载
- 媒体分发网络存储策略优化 28次下载
- tldb提供分布式锁使用方法 392次阅读
- 数据库如何实现分布式锁 383次阅读
- 深入理解redis分布式锁 503次阅读
- 分布式存储架构面临的挑战 853次阅读
- 如何使用分布式存储系统促进AI模型训练 312次阅读
- 鸿蒙分布式相机“踩坑”分享 1194次阅读
- Redis分布式锁真的安全吗？ 672次阅读
- 如何缓解DDoS(分布式拒绝服务)导致的性能下降 1159次阅读
- 干货：解决分布式缓存与数据库的双存储双写 2336次阅读
- 分布式光纤传感器原理_分布式光纤传感器的应用 8073次阅读
- 分布式控制系统的介绍 4714次阅读
- Redis 分布式锁的正确实现方式 3286次阅读
- 分布式存储运维系统构架简析 2549次阅读
- 浅谈分布式块存储的元数据服务设计 4740次阅读
- 深度解读分布式存储技术之分布式剪枝系统 1647次阅读
上传资料赚积分下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 3次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
工商网监
评论