推导一下逻辑回归 & XGBOOST
时间: 2023-10-31 19:22:53 浏览: 48
逻辑回归的推导如下:根据引用,逻辑回归的模型函数使用sigmoid函数将线性函数映射到(0,1)的区间上。假设输入变量为x,回归系数为β,那么逻辑回归模型可以表示为:f(x) = sigmoid(β0 + β1x1 + β2x2 + ... + βnxn)。其中,sigmoid函数可以表示为:sigmoid(z) = 1 / (1 + e^(-z))。通过最大似然估计的方法,可以得到逻辑回归模型中的回归系数的估计值。
XGBoost是一种提升树算法,它在工程实现中有很多优化。根据引用,XGBoost不仅支持CART树模型,还支持线性分类器,可以用作带有L1或L2正则化的逻辑回归(用于分类)或线性回归(用于回归)。在具体工程实现中,XGBoost通过优化目标函数,并使用特定的学习策略和正则化方法来提高模型的性能。
总结起来,逻辑回归是一种使用sigmoid函数将线性函数映射到(0,1)区间上的模型,可以用于分类问题。而XGBoost是一种提升树算法,具有很多优化,包括支持线性分类器和回归模型等。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [分类问题——逻辑回归与XGBoost](https://blog.csdn.net/weixin_48457572/article/details/116594651)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *2* [Xgboost算法推导及分析](https://blog.csdn.net/sxf1061926959/article/details/78303555)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *3* [leetcodebp的题-nlp:小案件](https://download.csdn.net/download/weixin_38509656/20044870)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
[ .reference_list ]