资料介绍
软件简介
Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现,本文后续将详细介绍 Flink Remote Shuffle 研发的背景,以及 Flink Remote Shuffle 的设计与使用。
重要特性
-
存储计算分离:存储计算分离使计算资源与存储资源可以独立伸缩,计算资源可以在计算完成后立即释放,Shuffle 稳定性不再受计算稳定性影响。
-
支持多种部署模式:支持 Kubernetes、Yarn 以及 Standalone 环境下部署。
-
采用了类似 Flink Credit-Based 流量控制机制,实现了零拷贝数据传输,最大限度的使用受管理的内存 (managed memory) 以避免 OOM,提高了系统稳定性与性能。
-
实现了包括负载均衡、磁盘 IO 优化、数据压缩、连接复用、小包合并等诸多优化,实现了优秀的性能与稳定性表现。
-
支持 Shuffle 数据正确性校验,能够容忍 Shuffle 进程乃至物理节点重启。
-
结合 FLIP-187: Flink Adaptive Batch Job Scheduler[11] 可支持动态执行优化,如动态决定算子并发度。
设计思路与原理介绍
参阅此文章:https://www.oschina.net/news/171564/flink-remote-shuffle-open-source
- Flink学习精要 0次下载
- 基于单向传输协议的网络数据交换技术 7次下载
- NoSQL数据库间数据交换代价研究 0次下载
- 组态王与VB数据交换方法 16次下载
- 一种电子政务数据交换模型的设计 12次下载
- 一种基于JCA的数据交换架构 17次下载
- 多单片机系统中的数据交换 13次下载
- 关于ISA 数据交换的一些小例子 20次下载
- 多单片机系统中的数据交换 20次下载
- 基于任务的数据交换平台 16次下载
- 策略驱动的数据交换模型 5次下载
- 安全数据交换技术在HIS中的应用 14次下载
- 基于时间闸和放行令牌的数据交换技术 17次下载
- 基于实时数据交换技术的数据通信 13次下载
- 一个系统中多单片机之间的数据交换 13次下载
- ZEMAX与MATLAB动态数据交换及其应用 527次阅读
- 如何实现西门子、欧姆龙、三菱、AB等PLC之间数据交换 688次阅读
- 交换机的特点、工作原理及数据交换方式 5788次阅读
- Profinet直接数据交换功能概述 1347次阅读
- S7-1500 CPU支持与其它S7-1500 CPU进行直接数据交换 2682次阅读
- JustWeEngine游戏框架网络事件处理 Http服务器的数据交换 1509次阅读
- 实时数据体系建设的总体方案的三部分 6396次阅读
- 什么是分组交换网_分组交换网的构成 6824次阅读
- 怎样才能实现S7-1500与第三方自动化系统的数据交换? 4928次阅读
- 一套符合标准SQL语义的开发语言,link的最新特性 2139次阅读
- 来看看Spark和Flink各自的优劣和主要区别 3.1w次阅读
- 从Storm到Flink:大数据处理的开源系统及编程模型 3187次阅读
- mapreduce工作原理图文详解_Map、Reduce任务中Shuffle和排序 7957次阅读
- 基于FPGA的BIade Server与主板之间PCI数据交换 2026次阅读
- 利用OPC实现VC应用程序与PLC的数据交换 4716次阅读
下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图(支持平板,盒子VR)
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
评论
查看更多