机器学习之贝叶斯

贝叶斯背景

• 贝叶斯简介：
• 贝叶斯(约1701-1761) Thomas Bayes，英国数学家
• 贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章
  生不逢时，死后它的作品才被世人认可

贝叶斯要解决的问题

• ​正向概率​：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大
• ​逆向概率​：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测

为什么要使用贝叶斯

• 本身就是不确定的，人类的观察能力是有局限性的
• 我们日常所观察到的只是事物表面上的结果，因此我们需要
  提供一个猜测

问题

• ​条件​：
• 男生：60%
• 女生：40%
• 男生总是穿长裤，女生则一半穿长裤一半穿裙子
  ​正向概率​：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大
  ​逆向概率​：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，
  而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？

问题分析

• 假设学校里面人的总数是 U 个
• 穿长裤的（男生）：U * P(Boy) * P(Pants|Boy)
• P(Boy) 是男生的概率 = 60%
• P(Pants|Boy) 是条件概率，即在 Boy 这个条件下穿长裤的
  概率是多大，这里是 100% ，因为所有男生都穿长裤
• 穿长裤的（女生）： U * P(Girl) * P(Pants|Girl)

求解：穿长裤的人里面有多少女生

穿长裤总数：U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)

P(Girl|Pants) = U * P(Girl) * P(Pants|Girl) / 穿长裤总数

U * P(Girl) * P(Pants|Girl) / U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)

与总人数有关吗？

• U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)]
• 容易发现这里校园内人的总数是无关的，可以消去
• P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]

化简

P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]

分母其实就是 P(Pants)

分子其实就是 P(Pants, Girl)

贝叶斯公式