朴素贝叶斯等常见机器学习算法的介绍及其优缺点比较

　　偏差和方差与模型复杂度的关系使用下图更加明了：

　　当模型复杂度上升的时候，偏差会逐渐变小，而方差会逐渐变大。

　　常见算法优缺点

　　1.朴素贝叶斯

　　朴素贝叶斯属于生成式模型（关于生成模型和判别式模型，主要还是在于是否是要求联合分布），非常简单，你只是做了一堆计数。如果注有条件独立性假设（一个比较严格的条件），朴素贝叶斯分类器的收敛速度将快于判别模型，如逻辑回归，所以你只需要较少的训练数据即可。即使NB条件独立假设不成立，NB分类器在实践中仍然表现的很出色。它的主要缺点是它不能学习特征间的相互作用，用mRMR中R来讲，就是特征冗余。引用一个比较经典的例子，比如，虽然你喜欢BradPitt和TomCruise的电影，但是它不能学习出你不喜欢他们在一起演的电影。

　　优点：

　　· 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。

　　· 对小规模的数据表现很好，能个处理多分类任务，适合增量式训练；

　　· 对缺失数据不太敏感，算法也比较简单，常用于文本分类。