贝叶斯方法：从朴素贝叶斯到推断

贝叶斯方法把「学习」看作不断更新信念：用先验概率与观测数据，按贝叶斯定理算出后验概率。它天然给出不确定性估计，在文本分类、诊断与 A/B 测试中很受欢迎。

贝叶斯定理

贝叶斯定理表达为 P(类别|特征) = P(特征|类别) P(类别) / P(特征)。训练阶段估计各类的先验与似然，预测阶段取后验最大的类别。

from sklearn.naive_bayes import MultinomialNB

clf = MultinomialNB()
clf.fit(X_train, y_train)
print(clf.predict_proba(X_test))   # 输出各类后验概率

朴素贝叶斯的假设

「朴素」指假设各特征在给定类别下条件独立。这虽在现实中常不成立，却大幅简化计算，且在文本分类上依然有效。常见变体有处理计数的 MultinomialNB 与处理连续值的 GaussianNB。

到推断

当参数与隐藏变量复杂时，精确后验难以解析，于是用 MCMC、变分推断等近似方法抽样或优化。PyMC、Stan 等工具让贝叶斯建模落到工程实践，适合需要量化不确定性的决策场景。

小结

贝叶斯方法以概率形式融合先验与数据，朴素贝叶斯凭条件独立假设做到高效分类；面对复杂模型则用近似推断求后验。它的价值不在准确率碾压，而在可解释的不确定性。

参考与延伸阅读

• scikit-learn 朴素贝叶斯文档。已核验。https://scikit-learn.org/stable/modules/naive_bayes.html
• Murphy《Machine Learning: A Probabilistic Perspective》是权威教材。已核验。https://www.cs.ubc.ca/~murphyk/MLbook/