电子发烧友网>电子资料下载>电子论文>模拟数字论文>一种改进的基于粗糙集理论的特征选取方法_王作飞

一种改进的基于粗糙集理论的特征选取方法_王作飞

2033885 2017-03-14 | pdf | 388KB | 次下载 | 1积分

资料介绍

一种改进的基于粗糙集理论的特征选取方法_王作飞
文本分类是文本挖掘的重要组成部分。通过该技术可以自动地为文档集合中的每篇文档确定类别, 并对它们进行有效组织和分类,以便检索和分析,从而能够使用户方便、快捷地浏览文档,具有很高的实际应用价值。文本分类一般分为训练和分类阶段,在分类阶段,文本集经过文本预处理后得到特征集。但是特征集仍然是个高维的特征空间, 对于所有的分类算法来说维数都太大。因此,选择一个合适的特征方法,以降低特征空间的维数,提高分类的效率和精度,往往成为文本分类的首选任务和关键。目前,常用的特征选择算法一般是先构建一个评估函数,对特征集中的每个特征独立地进行评估每个特征获得一个评估值,然后根据评估值对特征进行排序,最后选取最佳的特征作为类别中心特征向量。而选取多少个最佳特征主要针对某一个具体的问题通过实验来决定。现在这样的评估函数有:文档频数, 信息增益,期望交叉熵,互信息,CHI 统计法等。作为一种处理含糊和不精确问题的新型数学工具, 粗糙集在处理不完备、不确定、不一致数据方面显现出了其特有的优势。针对以往基于粗糙集理论中正区域约简特征选取在处理不一致决策表时存在的不足,本文通过过引入粒度函数的概念,并以此为基础采用粗糙集启发式属性约简方法实现了特征在分类中的重要性度量标定和约简, 使原来的特征维数得到一定的降低,建立了特征选择与文本分类之间的联系。该方法有效地提高了分类的效率和准确度,大大降低了文本分类子集的维数,生成规则易于理解, 适应性强。最后用实验验证了该方法的可行