逻辑回归算法实现实验代码

逻辑回归是一种经典的分类算法，主要用于处理二分类问题。下面是一份简单的逻辑回归实验代码，可以帮助您更好地了解逻辑回归算法的实现：

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成随机数据集
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

class LogisticRegression:
    def __init__(self, lr=0.01, num_iter=100000, fit_intercept=True):
        self.lr = lr  # 学习率
        self.num_iter = num_iter  # 迭代次数
        self.fit_intercept = fit_intercept  # 是否拟合截距
        self.theta = None  # 模型参数

    def __sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def __add_intercept(self, X):
        intercept = np.ones((X.shape, 1))
        return np.concatenate((intercept, X), axis=1)

    def fit(self, X, y):
        if self.fit_intercept:
            X = self.__add_intercept(X)

        # 初始化模型参数
        self.theta = np.zeros(X.shape)

        for i in range(self.num_iter):
            z = np.dot(X, self.theta)
            h = self.__sigmoid(z)
            gradient = np.dot(X.T, (h - y)) / y.size
            self.theta -= self.lr * gradient

    def predict_prob(self, X):
        if self.fit_intercept:
            X = self.__add_intercept(X)

        return self.__sigmoid(np.dot(X, self.theta))

    def predict(self, X, threshold=0.5):
        return self.predict_prob(X) >= threshold

# 训练模型
model = LogisticRegression(lr=0.1, num_iter=300000)
model.fit(X_train, y_train)

# 在测试集上评估模型性能
preds = model.predict(X_test)
accuracy = (preds == y_test).mean()
print(f"Accuracy: {accuracy}")

上述代码中，我们使用`make_classification`函数生成了一个随机的二分类数据集，并将其分为训练集和测试集。然后，我们定义了一个`LogisticRegression`类，其中包含了逻辑回归的核心算法实现。在训练模型时，我们使用梯度下降法来最小化损失函数，并迭代更新模型参数。最后，我们在测试集上评估了模型的性能。