‘壹’ 朴素贝叶斯分类器【Naive Bayes】
朴素贝叶斯分类器,基于贝叶斯定理,是贝叶斯分类中最基础且假设特征间独立的一种方法。它与支持向量机不同,后者通过决策函数直接预测,而朴素贝叶斯则是依据条件概率分布进行分类。
朴素贝叶斯分类法的核心是后验概率最大化,通过计算各类别下出现特定特征组合的条件概率来预测类别。其分类准则基于最小化期望损失,即通过公式[公式]来决定最优预测。对于0-1损失函数,最优预测是使[公式]最小的类别。
朴素贝叶斯模型属于生成式模型,通过假设特征独立,将联合概率分解,从而在训练集中计算每类别的概率。例如,在垃圾邮件分类中,通过计算每句话中垃圾词出现的概率,如[公式],再考虑拉普拉斯平滑避免零概率问题。
朴素贝叶斯分为两种模型:多项式模型处理离散特征,如文本分类中单词的出现次数;而高斯模型处理连续特征,通过高斯分布估计特征的均值和方差进行分类。高斯朴素贝叶斯通过极大似然估计参数,计算给定样本的条件概率,进行预测。
通过以上原理,朴素贝叶斯算法在实际应用中展现出强大的分类能力,尤其在文本处理等领域。