Spark环境结合MDBF的星型连接算法
大小:0.75 MB 人气: 2017-12-23 需要积分:1
为了适应联机分析处理( OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter( MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性,在单机和集群环境下,该算法相比重划分连接均获得了3倍左右的性能提升。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
Spark环境结合MDBF的星型连接算法下载
相关电子资料下载
- DeepSpark 开源社区百大应用开放平台23.09版本正式发布 51
- RT-Thread SPARK CAN的通信内核详解 334
- Spark Connected与英飞凌面向市场推出Yeti 的500 W无线充电解决方案 315
- NVIDIA 携手腾讯开发和优化 Spark UCX 实现性能跃升 224
- 基于RT-SPARK 1的物联网-温湿度报警器设计方案 239
- 一种基于STM32F407-RT-SPARK开发板的智能花盆设计案例 1297
- DeepSpark 开源社区百大应用开放平台23.06版本正式发布 212
- 传音移动互联DataSparkle为非洲数字经济研究提供数据支撑 141
- 为Spark ML算法提供GPU加速度 337
- Spark 3.4用于分布式模型训练和大规模模型推理 349