用Python实现朴素贝叶斯分类和k近l邻学习基本算法

好的，我可以向你介绍一下朴素贝叶斯分类和k近邻学习的基本算法，并提供Python实现的示例代码。

1. 朴素贝叶斯分类

朴素贝叶斯分类是一种基于统计学和概率论的分类方法，它假设每个特征之间相互独立，从而简化了分类的计算。它的基本思想是根据已知类别的样本，计算出每个特征在不同类别下的概率，并利用贝叶斯公式计算出待分类样本属于每个类别的概率，最后选择概率最大的类别作为分类结果。

以下是一个简单的朴素贝叶斯分类的Python实现示例：

import numpy as np

class NaiveBayes:
    def __init__(self):
        self.classes = None
        self.mean = None
        self.var = None
    
    def fit(self, X, y):
        self.classes = np.unique(y)
        n_classes = len(self.classes)
        n_features = X.shape[1]
        self.mean = np.zeros((n_classes, n_features))
        self.var = np.zeros((n_classes, n_features))
        for i, c in enumerate(self.classes):
            X_c = X[y == c]
            self.mean[i, :] = X_c.mean(axis=0)
            self.var[i, :] = X_c.var(axis=0)
    
    def gaussian_pdf(self, X, mean, var):
        exponent = np.exp(-((X - mean) ** 2 / (2 * var)))
        return np.prod(1 / np.sqrt(2 * np.pi * var) * exponent, axis=1)
    
    def predict(self, X):
        y_pred = []
        for x in X:
            posteriors = []
            for i, c in enumerate(self.classes):
                prior = np.sum(y == c) / len(y)
                likelihood = self.gaussian_pdf(x, self.mean[i, :], self.var[i, :])
                posterior = prior * likelihood
                posteriors.append(posterior)
            y_pred.append(self.classes[np.argmax(posteriors)])
        return y_pred

2. k近邻学习

k近邻学习是一种基于实例的学习方法，它通过查找邻近的训练样本来预测待分类样本的类别。它的基本思路是选择k个最近邻的样本，根据它们的类别来决定待分类样本的类别，通常采用投票法或加权投票法来决定。

以下是一个简单的k近邻学习的Python实现示例：

import numpy as np
from collections import Counter

class KNN:
    def __init__(self, k=3):
        self.k = k
        
    def euclidean_distance(self, X1, X2):
        return np.sqrt(np.sum((X1 - X2) ** 2, axis=1))
    
    def predict(self, X_train, y_train, X_test):
        y_pred = []
        for x in X_test:
            distances = self.euclidean_distance(X_train, x)
            k_nearest_idx = np.argsort(distances)[:self.k]
            k_nearest_labels = y_train[k_nearest_idx]
            most_common_label = Counter(k_nearest_labels).most_common(1)[0][0]
            y_pred.append(most_common_label)
        return y_pred

注意：以上示例代码仅供参考，实际使用时需要根据具体问题进行调整和优化。