基于Spark的ItemBased推荐算法性能优化
大小:0.91 MB 人气: 2017-11-30 需要积分:2
MapReduce计算场景下,复杂的大数据挖掘类算法通常需要多个MapReduce作业协作完成,但多个作业之间严重的冗余磁盘读写及重复的资源申请操作,使得算法的性能严重降低。为提高ItemBased推荐算法的计算效率,首先对MapReduce平台下ItemBased协同过滤算法存在的性能问题进行了分析;在此基础上利用Spark迭代计算及内存计算上的优势提高算法的执行效率,并实现了基于Spark平台的ItemBased推荐算法。实验结果表明:当集群节点规模分别为10与20时,算法在Spark中的运行时间分别只有MapReduce中的25.6%及30. 8%,Spark平台下的算法相比MapReduce平台,执行效率整体提高3倍以上。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
基于Spark的ItemBased推荐算法性能优化下载
相关电子资料下载
- DeepSpark 开源社区百大应用开放平台23.09版本正式发布 51
- RT-Thread SPARK CAN的通信内核详解 334
- Spark Connected与英飞凌面向市场推出Yeti 的500 W无线充电解决方案 315
- NVIDIA 携手腾讯开发和优化 Spark UCX 实现性能跃升 224
- 基于RT-SPARK 1的物联网-温湿度报警器设计方案 239
- 一种基于STM32F407-RT-SPARK开发板的智能花盆设计案例 1297
- DeepSpark 开源社区百大应用开放平台23.06版本正式发布 212
- 传音移动互联DataSparkle为非洲数字经济研究提供数据支撑 141
- 为Spark ML算法提供GPU加速度 337
- Spark 3.4用于分布式模型训练和大规模模型推理 349