朴素贝叶斯

朴素贝叶斯贝叶斯定理基本方法模型多项模型 MultinomialNB

贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。 P(A|B)=P(B|A)P(A)P(B) $${/displaystyle P(A|B)={/frac {P(B|A)/,P(A)}{P(B)}}}$$ 在贝叶斯定理中，每个名词都有约定俗成的名称：P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。P(A)是A的先验概率（或边缘概率）。P(B)是B的先验概率或边缘概率

先验概率是指根据以往经验和分析得到的概率，没有考虑其他证据。后验概率是考虑其他证据后得到的条件概率

Wiki：In Bayesian statistical, a PRior probability distribution, often simply called the prior, of an uncertain quantity is the probability distribution that would express one’s beliefs about this quantity before some evidence is taken into account. The posterior probability of a random event or an uncertain proposition is the conditional probability that is assigned after the relevant evidence or background is taken into account.

基本方法

输入空间 X∈Rn$X /in R^n$ 为n维向量集合， x=(x1,x2,x3,...,xn)$x=(x_1,x_2,x_3,...,x_n)$, 输出空间 Y$Y$ 为 K$K$ 类标记集合，即 y=(y1,y2,...,yK)$y=(y_1,y_2,...,y_K)$, 训练数据 T={(x1,y1),(x2,y2),...,(xN,yN)}$T = /{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)/}$

朴素贝叶斯学习先验概率分布 P(Y=yk) $$P(Y = y_k)$$ 及条件概率分布 P(X=x|Y=yk)=P(X=x1,x2,x3,...,xn|yk) $$P(X = x| Y = y_k) = P(X = x_1,x_2,x_3,...,x_n |y_k)$$ 假设xi$x_i$的值有Si$S_i$个, i=1,2,...,n$i=1,2,...,n$, 条件概率分布P(X=x|Y=yk)$P(X = x| Y = y_k)$ 参数个数为 K∏ni=1Si$K/prod_{i=1}^{n}S_i$, 有指数级数量的参数

朴素贝叶斯算法对条件概率分布作出了独立性的假设， 假设各维度特征独立 P(x|yk)=P(x1,x2,x3,...,xn|yk)=∏i=1nP(xi|yk) $$P(x| y_k) = P(x_1,x_2,x_3,...,x_n |y_k) = /prod_{i=1}^{n}P(x_i|y_k)$$ 此假设使朴素贝叶斯变简单，但牺牲一定准确率。

所以后验概率等于 P(yk|x)=P(x|yk)P(yk)P(x)=P(x|yk)P(yk)∑k1P(x|yk)P(yk)=∏ni=1P(xi|yk)P(yk)∑k1∏ni=1P(xi|yk)P(yk),k=1...K $$P(y_k| x) = /frac{P(x| y_k) P(y_k)}{P(x)} = /frac{P(x| y_k) P(y_k)}{/sum_{1}^{k}P(x| y_k) P(y_k)} = /frac{ /prod_{i=1}^{n}P(x_i|y_k) P(y_k)}{/sum_{1}^{k} /prod_{i=1}^{n}P(x_i|y_k) P(y_k)}, k = 1 ... K$$ 这是朴素贝叶斯的基本公式。于是，朴素贝叶斯分类器表示为 y=argmaxP(yk|x)=argmax∏ni=1P(xi|yk)P(yk)∑k1∏ni=1P(xi|yk)P(yk),k=1...K $$y = argmax P(y_k| x) = argmax /frac{ /prod_{i=1}^{n}P(x_i|y_k) P(y_k)}{/sum_{1}^{k} /prod_{i=1}^{n}P(x_i|y_k) P(y_k)}, k = 1 ... K$$ 对与不同 k$k$ 分母相同, 所以 y=argmax∏i=1nP(xi|yk)P(yk),k=1...K $$y = argmax /prod_{i=1}^{n}P(x_i|y_k) P(y_k) , k = 1 ... K$$

模型

多项模型 (MultinomialNB)

可能会出现所要估计的概率值P(xi|yk)$P(x_i|y_k)$, P(yk)$P(y_k)$为0的情况, 加入一个正数λ>0$/lambda /gt 0$ P(yk)=Nyk+λN+Kλ $$P(y_k)=/frac{N_{y_k}+/lambda }{N+K/lambda}$$ P(xi|yk)=N(xi,yk)+λNyk+Siλ $$P(x_i|y_k)=/frac{N_{(x_i,y_k)}+/lambda }{N_{y_k}+S_i/lambda}$$ 对k=1...K,j=1...Si$k=1...K, j=1...S_i$ 有 ∑Kk=1P(yk)=1 $$/sum_{K}^{k=1}P(y_k) = 1$$ ∑j=1Sip(xij|yk)=1 $$/sum_{j=1}^{S_i}P(x_{ij}|y_k) = 1$$ Si$S_i$ 是 xi$x_i$的特征数量

class sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

参数： alpha : float, optional (default=1.0) λ$/lambda$ 值 fit_prior : boolean, optional (default=True). Whether to learn class prior probabilities or not. If false, a uniform prior will be used. 默认True， 如果false各先验概率相等。 class_prior : array-like, size (n_classes,), optional (default=None). Prior probabilities of the classes. If specified the priors are not adjusted according to the data. 默认None，可用来指定先验概率。

[1]: 李航 统计学习方法 [2]: https://en.wikipedia.org/wiki/Prior_probability Prior probability [3]: http://www.letiantian.me/2014-10-12-three-models-of-naive-nayes/ 朴素贝叶斯的三个常用模型：高斯、多项式、伯努利 [4]: http://blog.csdn.net/u012162613/article/details/48323777 朴素贝叶斯理论推导与三种常见模型