【基础】逻辑回归在分类问题中的应用

# 2.1 逻辑回归的模型参数

### 2.1.1 权重和偏置

逻辑回归模型的参数包括权重向量 `w` 和偏置项 `b`。权重向量 `w` 的维度与特征向量的维度相同，每个元素对应于一个特征对模型预测的影响程度。偏置项 `b` 是一个常数，用于调整模型的预测值。

在逻辑回归模型中，权重和偏置共同决定了模型的预测结果。权重越大，表示该特征对预测结果的影响越大；偏置越大，表示模型预测结果整体偏离实际值。

### 2.1.2 激活函数

逻辑回归模型的激活函数是 sigmoid 函数，其公式为：

sigmoid(x) = 1 / (1 + exp(-x))

sigmoid 函数将输入值映射到 0 到 1 之间的范围。当输入值较大时，sigmoid 函数输出接近 1；当输入值较小时，sigmoid 函数输出接近 0。这使得逻辑回归模型可以将输入值转换为概率值，表示预测为正类的可能性。

# 2. 逻辑回归的模型构建与评估

### 2.1 逻辑回归的模型参数

#### 2.1.1 权重和偏置

逻辑回归模型的参数包括权重和偏置。权重表示特征与目标变量之间的关系，偏置表示模型预测值与真实值之间的偏差。

**权重：**

权重向量 `w` 的每个元素 `w_i` 表示第 `i` 个特征与目标变量之间的关系。权重为正表示该特征与目标变量呈正相关，权重为负表示该特征与目标变量呈负相关。

**偏置：**

偏置 `b` 表示模型预测值与真实值之间的偏差。偏置为正表示模型倾向于预测高于真实值，偏置为负表示模型倾向于预测低于真实值。

#### 2.1.2 激活函数

逻辑回归模型的激活函数为 sigmoid 函数，其数学表达式为：

sigmoid(x) = 1 / (1 + e^(-x))

sigmoid 函数将输入值映射到 [0, 1] 区间内，其中 0 表示目标变量为 0 的概率，1 表示目标变量为 1 的概率。

### 2.2 逻辑回归的模型训练

#### 2.2.1 优化算法和损失函数

逻辑回归模型的训练过程是通过优化损失函数来进行的。常用的优化算法有梯度下降法和拟牛顿法。

**损失函数：**

逻辑回归模型的损失函数为对数似然函数，其数学表达式为：

L(w, b) = - Σ[y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]

其中：

* `w` 和 `b` 分别为权重向量和偏置
* `y_i` 为第 `i` 个样本的目标变量值
* `p_i` 为第 `i` 个样本的预测概率

**优化算法：**

梯度下降法和拟牛顿法都是迭代优化算法，它们通过不断更新权重和偏置来最小化损失函数。

**梯度下降法：**

梯度下降法沿损失函数梯度的负方向更新权重和偏置，更新公式为：

w = w - α * ∇L(w, b)
b = b - α * ∇L(w, b)

其中：

* `α` 为学习率
* `∇L