基于Spark框架与聚类优化的高效KNN分类算法
大小：0.91 MB 人气： 2017-12-08 需要积分：1
针对K-最近邻（KNN）分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题，提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪；然后在分类过程中迭代K值获得分类结果，并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化。实验结果表明，在不同数据集中传统K最近邻算法、基于K-medoids的K-最近邻算法所耗费时间是所提Spark框架下的K-最近邻算法的3.92 - 31. 90倍，所提算法具有较高的计算效率，相较于Hadoop平台有较好的加速比，可有效地对大数据进行分类处理。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
基于Spark框架与聚类优化的高效KNN分类算法下载
相关电子资料下载
- 使用轮廓分数提升时间序列聚类的表现 46
- DeepSpark 开源社区百大应用开放平台23.09版本正式发布 51
- RT-Thread SPARK CAN的通信内核详解 334
- Spark Connected与英飞凌面向市场推出Yeti 的500 W无线充电解决方案 315
- 基于K-means聚类算法的图像分割 111
- 基于STM32的解魔方机器人设计方案 180
- NVIDIA 携手腾讯开发和优化 Spark UCX 实现性能跃升 224
- 介绍一种基于最小化平方误差的聚类算法 243
- 基于RT-SPARK 1的物联网-温湿度报警器设计方案 239
- 介绍一种基于分层聚类方法的木马通信行为检测模型 785