聊聊朴素贝叶斯

机器学习中最简单,最适合入门的算法可以说就是朴素贝叶斯了,我尽可能使用非常通俗的语言来描述,让 0 基础的人也可以看懂,希望本文能让你找到机器学习的兴趣。

先举个栗子,假如一个房间里有 7 个人,其中 3 个人是日本人,4 个人是韩国人,如果这是从房间走出一个人,让你判断他是日本人的概率,显然你会说 3/7 。

那么,如果现在有两个房间,a 房间有 2 个日本人,2 个韩国人,b 房间有 1 个日本人,2 个韩国人,你一抬头,看到现在出来一个日本人,请问他来自房间 a 的概率是多少?

解决这个问题,我们就要知道条件概率,事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示为 P(A|B),读作“在B条件下A的概率”。这里我们设【遇到一个日本人】记为事件 B,【来自房间 a】记为事件 A,那么可以通过经验得出 P(A|B) = 2/3 (日本人有 3 个,有 2 个在 a 房间,有 1 个在 b 房间,那么来自房间 a 的概率就是 2/3 )

为了搞清清楚 P(A|B) 与 P(A),P(B) 的关系,我们还要引入联合概率,P(A,B) 就是联合概率,表示看到一个来自房间 a 的日本人的概率。这种由多个随机变量决定的概率我们就叫联合概率。

很容易得到 P(A,B) = 2/7 = 2/3 x 3/7 =  P(A|B) x P(B) 
即  P(A,B) =  P(A|B) x P(B)
同理可得  P(B,A) =  P(B|A) x P(A) 
由于 P(A,B) = P(B,A) 
即 P(A|B) x P(B) =  P(B|A) x P(A) 
最后得到  P(A|B) =  P(B|A) x P(A) / P(B)

这就是非常经典的贝叶斯法则。我们把 P(A),P(B) 叫作先验概率,之所以称为“先验”,是因为它是从数据资料统计得到的,不需要经过贝叶斯定理的推算。

P(B|A) 是给定 A 之后 B 出现的条件概率。在统计学中,我们也把 P(B|A) 写作似然函数 L(B|A)。在数学里,似然函数和概率是有区别的。概率是指已经知道模型的参数来预测结果,而似然函数是根据观测到的结果数据,来预估模型的参数。不过,当 B 值给定的时候,两者在数值上是相等的,在应用中我们可以不用细究。

P(A|B) 叫做后验概率,它是根据先验概率、似然函数来推导出来的。而似然函数,也就是我们根据数据集进行的训练结果。

类比上述例子,我们再看一下贝叶斯能干啥?

我给你一些标记正常的句子,再给你一些标记骂人的句子,然后让你看到一个句子,问你这个句子是骂人的句子的概率,请问你如何计算?

你说,这不就是侮辱性的文本屏蔽功能嘛,确实,我们应该都玩过王者荣耀吧,有时候自己会忍不住骂人,也会被别人骂,这种损人不利己的句子会伤害队友的感情,终将导致团灭。

现在假如给你一些人工标注的数据集,告诉你哪些是正常句子,哪些是骂人的句子,然后让你判断新的句子是否属于骂人的句子,你如何判断呢?

假定我们获取到了以下数据集作为训练,越简单越好,我们就选四条。前两个是正常句子,记作事件 A,后两个是侮辱性句子,记作事件 B。

这 走位 风骚
真 牛逼
你 真 傻逼
你 麻痹

这里的空格表示这是一个词,在实际应用中可借助分词工具将句子分解成单词列表。

很容易判断出 P(A) = 0.5,P(B) = 0.5,假如只有 P(A) 和 P(B) 这两个信息,现在给你一个新的句子,让你判断它是否是断侮辱性句子,你只能判断是 0.5 ,这不就相当于没有判断么,因此我们还需要通过上述训练数据集来训练出更多已知信息。假定现在让我们判断【你这风骚傻逼】这句话是否是侮辱性句子,那么如何让计算机来计算呢? 也就是让计算机来计算 【你这风骚傻逼】是侮辱性句子的概率是多少,不是侮辱性句子的概率是多少,哪个概率大,就算哪个。

明确目标,我们把 【你这风骚傻逼】记作事件 C,目标就是求解 P(A|C) 及 P(B|C),并比较他们的大小。

计算过程或训练过程,我先们求解 P(A|C) ,根据贝叶斯法则 P(A|C) = P(C|A) x P(A) / P(C), P(A) = 0.5,而 P(C) 和 P(C|A) 都是未知,这里就要搬出朴素贝叶斯来帮忙了。

特征之间相互独立指的是统计意义上的独立,即一个特征的出现的可能性不受其他特征所影响。 举个例子来说明:比如单词A出现在B后面的概率和出现在C后面的概率相同。很明显这种情况很不靠谱,这也正是朴素贝叶斯中朴素一词的含义。

我们假定 【你 这 风骚 傻逼】里的 4 个词出现是朴素独立的,那么 P(C) = P(你) x P(这) x P(风骚) x P(傻逼)
P(你) 的计算就是你出现的个数与所有不重复的词语的个数之比,即 2/8 = 0.25

同理可计算出:P(这) = 1/8 = 0.125
P(风骚) = 0.125
P(傻逼)  = 0.125
P(C) = 0.25 x 0.125 x 0.125 x 0.125 = 0.00046875
P(C|A) = P(你, 这, 风骚, 傻逼 |A) = P(你|A) x P(这|A) x P(风骚|A) x P(傻逼|A) 

由于训练数据集的数据量太少,导致 P(你|A) = 0 ,实际中不能出现这样的情况,如果 P(你|A) = 0,则 P(C|A) = 0,后面的概率也就不用计算了,导致概率的计算不够平滑,实际上,当概率出现 0 时,我们可以取一个最小值来替换掉 0 ,使得概率的计算变得平滑。这里,如果概率为 0,我们就取 0.0001。

因此

P(C|A)  =  P(你|A) x P(这|A) x P(风骚|A) x P(傻逼|A)   =  0.0001 x 0.2 x 0.2 x 0.0001 = 0.0000000004。

因此计算出

P(A|C) = P(C|A) x P(A) / P(C) =  0.0000000004 x 0.5 / 0.00046875  = 0.000000426667

同理可以算出

P(B|C) = P(C|B) x P(B) / P(C) = P(你, 这, 风骚, 傻逼 |B) x 0.5 / 0.00046875 =  (0.5 x 0.0001 x 0.0001 x 0.25 ) x 0.5 / 0.00046875 =  0.000001333333

很显然,P(B|C) 大于 P(A|C),因此句子 C 更可能为 B ,也就是说基于训练数据集,【你这风骚傻逼】 属于侮辱性句子。实际的应用中计算出的概率可能会非常的小导致计算机无法计算,这时我们会通过取对数(log)来将小数变成绝对值大于 1 的负数,道理是一样的。

推而广之,在哪些地方还可以使用朴素贝叶斯解决分类问题呢? 留给你思考。

(完)

欢迎关注微信公众号 somenzz 与我一起学习和交流。

留下你的脚步
推荐阅读