Python实现拉普拉斯修正

拉普拉斯平滑是一种常用的平滑技术，用于解决朴素贝叶斯算法中的概率为0的问题。Python实现拉普拉斯修正的方法如下：

假设有一个二分类问题，类别变量为0或1，特征变量为x1、x2、x3，训练集为train_data，测试集为test_data。

1.计算先验概率P(y=0)和P(y=1)，分别为类别变量为0和1的样本数除以总样本数。

2.计算条件概率P(xi|y)，分别为在类别变量为0和1的情况下，特征变量xi的取值为1的样本数除以类别变量为0和1的样本数之和。

3.对于测试集中的每个样本，计算P(y=0|x1,x2,x3)和P(y=1|x1,x2,x3)。

4.选择概率较大的类别作为预测结果。

Python代码实现如下：

import numpy as np

class NaiveBayes:
    def __init__(self, alpha=1):
        self.alpha = alpha

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.classes = np.unique(y)
        n_classes = len(self.classes)

        # 计算先验概率
        self.priors = np.zeros(n_classes)
        for i, c in enumerate(self.classes):
            self.priors[i] = np.sum(y == c) / float(n_samples)

        # 计算条件概率
        self.likelihoods = np.zeros((n_classes, n_features, 2))
        for i, c in enumerate(self.classes):
            X_c = X[y == c]
            self.likelihoods[i, :, 0] = (np.sum(X_c == 0, axis=0) + self.alpha) / (float(np.sum(y == c)) + 2*self.alpha)
            self.likelihoods[i, :, 1] = (np.sum(X_c == 1, axis=0) + self.alpha) / (float(np.sum(y == c)) + 2*self.alpha)

    def predict(self, X):
        n_samples, n_features = X.shape
        y_pred = np.zeros(n_samples)
        for i in range(n_samples):
            posteriors = []
            for j, c in enumerate(self.classes):
                prior = np.log(self.priors[j])
                likelihood = np.sum(np.log(self.likelihoods[j, :, X[i]]))
                posterior = prior + likelihood
                posteriors.append(posterior)
            y_pred[i] = self.classes[np.argmax(posteriors)]
        return y_pred