logistic极大似然推导
时间: 2023-10-25 10:10:54 浏览: 53
对于Logistic回归的极大似然推导,我们可以从以下步骤开始:
1. 假设我们有一个二分类问题,我们的目标是根据输入特征预测两个类别中的一个。
2. 我们使用Logistic函数(也称为Sigmoid函数)来建模,它可以将任意实数映射到0和1之间的概率值。Logistic函数的公式如下:
![logistic function](https://wikimedia.org/api/rest_v1/media/math/render/svg/07dab7d00e87a0e9e38a39b52b4f3c51fa363e5e)
其中z是输入特征的线性组合,w是权重向量,x是特征向量。
3. 我们假设每个样本的标签(类别)都是独立同分布的。对于二分类问题,我们用0表示一个类别,用1表示另一个类别。
4. 我们希望找到一组参数(权重向量w),使得给定输入特征下观测到的标签(类别)的概率最大化。
5. 对于每个样本i来说,我们可以定义其概率P(y=1|x)为:
![probability](https://wikimedia.org/api/rest_v1/media/math/render/svg/7c3c7b63785a6c0be7162f720a702b081a9a4c97)
其中x是样本i的特征向量。
6. 由于我们的样本是独立同分布的,我们可以将所有样本的概率相乘,得到似然函数:
![likelihood](https://wikimedia.org/api/rest_v1/media/math/render/svg/0c9b0088be7db7d105923e0c1f9e2d3a19f8b12b)
7. 我们的目标是最大化似然函数,即找到使得似然函数最大的参数w。通常我们对似然函数取对数,得到对数似然函数(log-likelihood function),方便计算和求导:
![log-likelihood](https://wikimedia.org/api/rest_v1/media/math/render/svg/757d1fd1150759b3c2befce9dd5f7f4cb736ce28)
8. 现在,我们的问题变成了求解对数似然函数的最大值。可以使用优化算法(例如梯度上升法)来找到最优解。
以上是Logistic回归的极大似然推导的步骤。通过最大化对数似然函数,我们可以找到最佳的参数向量w,从而进行二分类预测。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)