电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
MPP最开始的设计目的是为了消除共享资源的使用，即每个executor有独立的cpu、内存和磁盘等资源，每个executor一般不能访问其他executor的资源。但是有一种情况例外，那就是当数据必须要通过网络进行交换的时候（译者注：即shuffle）。这种设计理念效果很好，使MPP具有了比较凑合的扩展性。
MPP的第二个重概念是“并发”，即每个executor执行同样的数据处理逻辑，处理的数据则是这个executor所在的节点的本地存储的数据分片，在这些执行步骤中，有一些被称为同步点（synchronization points）的东东，这些同步点多数情况下是在执行节点间的数据交换，比如spark和mr中得shuffle操作。下图是一个典型的MPP查询时间线，垂直的虚线表示同步点，例如，如果遇到join或者aggregation（译者注：即sql中的group by）操作，就需要一个同步操作来完成shuffle，而task本身（译者注：executor是进程级概念，task是executor内部的线程）则执行的是数据聚合、join、排序以及其他可以在本节点独立完成的任务。
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- ChatGPT:AI模型框架研究 9次下载
- 开源雾计算软件框架FogLAMP介绍（二）：FogLAMP介绍
- 开源雾计算软件框架FogLAMP介绍（三）：FogLAMP架构分析
- 基于boosting框架的混合秩矩阵分解模型 13次下载
- 一种基于框架特征的共指消解方法 7次下载
- 什么是框架？MATLAB的单元测试框架中文版资料详细概述 0次下载
- C++的框架、库和资源资料汇总大全
- 如何使用Spark计算框架进行分布式文本分类方法的研究 3次下载
- 基于迭代填充的内存计算框架分区映射算法 0次下载
- 基于云计算的监控与统计 10次下载
- MFC框架窗口界面设计 0次下载
- LC谐振计算器(C# .NET2.0框架) 0次下载
- Struts和Spring两种MVC框架的比较 0次下载
- 手把手教你写批处理-批处理的介绍
- 批处理常用命令大全 0次下载
- 一文详解计算型存储协议框架 490次阅读
- TensorFlow与PyTorch深度学习框架的比较与选择 1018次阅读
- Python自动化测试框架及其应用 579次阅读
- GPT推断中的批处理（Batching）效应简析 749次阅读
- API测试框架Grillon概述 2057次阅读
- qiling框架和AFLplusplus安装 2040次阅读
- 基于SSM框架的新闻管理系统 1384次阅读
- 一个高性能异步计算框架介绍 827次阅读
- cartography框架安装与建图测试 1482次阅读
- 可信增强的Flask访问控制框架的总体应用设计和实施方法 2789次阅读
- 现在流行的Web APP开发框架有哪些 1.1w次阅读
- 边缘计算的两种处理机制介绍 4054次阅读
- 嵌入式应用框架EAF详解 2892次阅读
- 什么是Hibernate?Hibernate框架架构与框架原理分析 5313次阅读
- 采用Xilinx Zynq SoC 为云计算提速 1072次阅读
上传资料赚积分下载排行
本周
- 1DC电源插座图纸
- 0.67 MB | 2次下载 | 免费
- 2AN158 GD32VW553 Wi-Fi开发指南
- 1.51MB | 2次下载 | 免费
- 3AN148 GD32VW553射频硬件开发指南
- 2.07MB | 1次下载 | 免费
- 4AN111-LTC3219用户指南
- 84.32KB | 次下载 | 免费
- 5AN153-用于电源系统管理的Linduino
- 1.38MB | 次下载 | 免费
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下载 | 免费
- 7SM2018E 支持可控硅调光线性恒流控制芯片
- 402.24 KB | 次下载 | 免费
- 8AN-1308: 电流检测放大器共模阶跃响应
- 545.42KB | 次下载 | 免费
本月
- 1ADI高性能电源管理解决方案
- 2.43 MB | 450次下载 | 免费
- 2免费开源CC3D飞控资料（电路图&PCB源文件、BOM、
- 5.67 MB | 138次下载 | 1 积分
- 3基于STM32单片机智能手环心率计步器体温显示设计
- 0.10 MB | 130次下载 | 免费
- 4使用单片机实现七人表决器的程序和仿真资料免费下载
- 2.96 MB | 44次下载 | 免费
- 53314A函数发生器维修手册
- 16.30 MB | 31次下载 | 免费
- 6美的电磁炉维修手册大全
- 1.56 MB | 24次下载 | 5 积分
- 7如何正确测试电源的纹波
- 0.36 MB | 17次下载 | 免费
- 8感应笔电路图
- 0.06 MB | 10次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935121次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420062次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233088次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191367次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183335次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81581次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73810次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65988次下载 | 10 积分
工商网监
评论