尝试使用scipy.optimize中的优化算法训练logistic regression并与sklearn比较

Scipy库中的`optimize`模块提供了一些非线性优化算法，如牛顿法、拟牛顿法等，它们可以用于求解函数的最大值或最小值，包括损失函数。如果你想使用这些工具来训练Logistic回归模型，通常我们会将模型的损失函数作为优化目标，比如对数似然损失。然而，Scipy本身并不直接支持训练机器学习模型，特别是像Logistic Regression这样的结构化预测模型。

在Scipy中，你可以通过手动计算梯度并传递给优化函数来自定义这个过程。例如，首先定义sigmoid激活函数及其导数（梯度），然后使用`minimize`函数来最小化损失。这是一个简化示例：

from scipy.optimize import minimize
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def log_loss(y_true, y_pred, w):
    # 假设y_true是二进制标签，w是权重向量
    preds = sigmoid(np.dot(X, w))  # X是特征矩阵
    loss = -np.mean(y_true * np.log(preds) + (1 - y_true) * np.log(1 - preds))
    return loss

# 初始化权重
initial_weights = np.zeros(num_features)

# 使用Scipy的优化器
result = minimize(log_loss, initial_weights, method='BFGS', args=(X_train, y_train))

# 训练后的权重
trained_w_scipy = result.x

相比之下，Sklearn的` LogisticRegression `类已经实现了高效的Logistic回归训练，包括模型参数估计和交叉验证等功能，并且它还提供了更丰富的评估指标和预处理选项。使用Sklearn更为方便和高效，因为它是专门为机器学习设计的，包含了许多优化和加速技术：

from sklearn.linear_model import LogisticRegression

# Sklearn的例子
lr = LogisticRegression()
lr.fit(X_train, y_train)
trained_w_sklearn = lr.coef_