统计机器学习（二）朴素贝叶斯

文章目录

• ​​教程笔记概述​​
• ​​本文阅读先决条件​​
• ​​内容总结​​

• ​​基本公式​​
• ​​离散属性要点​​
• ​​连续属性要点​​

• ​​Tip​​

教程笔记概述

来源于课程MA429,讲述统计机器学习。是算法工程师的基础。

本文阅读先决条件

阅读并尽可能理解intro naive bayes.pdf这个课件。

内容总结

基本公式

贝叶斯定理：（A是类别，B是属性集合）

朴素贝叶斯公式：

记住朴素贝叶斯公式使用即可，推导可以参考南瓜书和西瓜书。
朴素贝叶斯呢就是说：每个属性都独立地对结果产生影响。

离散属性要点

• 要预测的数据记录中有缺失的属性：计算时省略该属性的概率，不进行乘积。
• 在训练集计算似然也就是对应类别下某属性的出现概率时出现了0：使用ADD1,给训练集所有属性都加1 。
• 进行各个似然的比较时，先归一化。再最大似然

连续属性要点

• 有连续属性。则在训练数据时将该属性当作正态分布，计算均值及方差。
  则在测试时，利用概率密度函数代入该属性值，得到密度。
• 同样要归一化

Tip

朴素贝叶斯不难，关键是找一些例子，仔细计算，走一遍流程。这个PPT就不错。