【基础】逻辑回归在分类问题中的应用
发布时间: 2024-06-25 02:20:22 阅读量: 72 订阅数: 147 


# 2.1 逻辑回归的模型参数
### 2.1.1 权重和偏置
逻辑回归模型的参数包括权重向量 `w` 和偏置项 `b`。权重向量 `w` 的维度与特征向量的维度相同,每个元素对应于一个特征对模型预测的影响程度。偏置项 `b` 是一个常数,用于调整模型的预测值。
在逻辑回归模型中,权重和偏置共同决定了模型的预测结果。权重越大,表示该特征对预测结果的影响越大;偏置越大,表示模型预测结果整体偏离实际值。
### 2.1.2 激活函数
逻辑回归模型的激活函数是 sigmoid 函数,其公式为:
```
sigmoid(x) = 1 / (1 + exp(-x))
```
sigmoid 函数将输入值映射到 0 到 1 之间的范围。当输入值较大时,sigmoid 函数输出接近 1;当输入值较小时,sigmoid 函数输出接近 0。这使得逻辑回归模型可以将输入值转换为概率值,表示预测为正类的可能性。
# 2. 逻辑回归的模型构建与评估
### 2.1 逻辑回归的模型参数
#### 2.1.1 权重和偏置
逻辑回归模型的参数包括权重和偏置。权重表示特征与目标变量之间的关系,偏置表示模型预测值与真实值之间的偏差。
**权重:**
权重向量 `w` 的每个元素 `w_i` 表示第 `i` 个特征与目标变量之间的关系。权重为正表示该特征与目标变量呈正相关,权重为负表示该特征与目标变量呈负相关。
**偏置:**
偏置 `b` 表示模型预测值与真实值之间的偏差。偏置为正表示模型倾向于预测高于真实值,偏置为负表示模型倾向于预测低于真实值。
#### 2.1.2 激活函数
逻辑回归模型的激活函数为 sigmoid 函数,其数学表达式为:
```
sigmoid(x) = 1 / (1 + e^(-x))
```
sigmoid 函数将输入值映射到 [0, 1] 区间内,其中 0 表示目标变量为 0 的概率,1 表示目标变量为 1 的概率。
### 2.2 逻辑回归的模型训练
#### 2.2.1 优化算法和损失函数
逻辑回归模型的训练过程是通过优化损失函数来进行的。常用的优化算法有梯度下降法和拟牛顿法。
**损失函数:**
逻辑回归模型的损失函数为对数似然函数,其数学表达式为:
```
L(w, b) = - Σ[y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]
```
其中:
* `w` 和 `b` 分别为权重向量和偏置
* `y_i` 为第 `i` 个样本的目标变量值
* `p_i` 为第 `i` 个样本的预测概率
**优化算法:**
梯度下降法和拟牛顿法都是迭代优化算法,它们通过不断更新权重和偏置来最小化损失函数。
**梯度下降法:**
梯度下降法沿损失函数梯度的负方向更新权重和偏置,更新公式为:
```
w = w - α * ∇L(w, b)
b = b - α * ∇L(w, b)
```
其中:
* `α` 为学习率
* `∇L
0
0
相关推荐








