没有合适的资源?快使用搜索试试~ 我知道了~
首页《机器学习导论》干货笔记
《机器学习导论》干货笔记
需积分: 46 15 下载量 168 浏览量
更新于2023-03-16
评论 2
收藏 1.08MB PDF 举报
这份笔记讲解了两方面的内容:(1)它处理了监督学习和非监督学习;(2)提出了一种算法的观点。解释了为什么一些主要的方法,如k近邻,决策树和随机森林等。
资源详情
资源评论
资源推荐
Introductiontomachinelearning
MaximeSangnier
October14,2020
Contents
Introduction 4
1 Classification 6
1.1 Discriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 Themultivariatenormaldistribution . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.2 Bayesclassifierformultivariatenormaldistributions . . . . . . . . . . . . . . . 7
1.1.3 Fisherdiscriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.1.4 KernelFisherdiscriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . 14
1.1.5 Multiclasslineardiscriminant. . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2 Logisticregression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.1 Modelandrisk. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.2 Maximumlikelihoodestimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2.3 Logisticregressionversuslineardiscriminantanalysis(LDA) . . . . . . . . . . 19
1.3 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 Adaboost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 ERMpointofviewandremarks . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.3.3 Gradientboosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.4 Supportvectormachines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4.1 Largemarginclassifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4.2 RKHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4.3 KerneltrickandnonlinearSVM . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.4.4 SVMinaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.4.5 Dualityinconvexoptimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.4.6 Dualproblemandsupportvectors . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.4.7 Statisticalperspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.5 Adetourtononparametricregression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.5.1 Leastmeansquares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.5.2 Leastabsolutedeviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.5.3 Supportvectorregression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.6 Othermethods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.6.1 k-nearestneighbors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.6.2 Decisiontrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.6.3 Bagging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.6.4 Randomforests. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1
1.7 Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.7.1 Discriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.7.2 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.7.3 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.7.4 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
References 64
2
List of Algorithms
1 Adaboost.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2 Gradientboosting.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Sequentialminimaloptimization.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3
Introduction
ThiscoursecomesasacomplementtoPrBiau’scourseonstatisticallearning,andthisintwodirections:
1. ittacklesbothsupervised(Chapter1)andunsupervisedlearning(Chapters?? and??);
2. itpresentsanalgorithmicpointofviewandcomeswithpracticalhomeworks.
Thisexplainswhysomemajormethods,likek-nearestneighbors,decisiontreesandrandomforestsare
onlyskimmedover.
Theselecturesnotesareorganizedinthreechapters:
Chapter1: afewclassificationmethodsareintroducedindetailsandwebridgequicklythegapbetween
classificationanregression:
linearandquadraticdiscriminantanalysis(LDA,QDA);
Fisherdiscriminantanalysis(FDA);
kernelFisherdiscriminantanalysis(KFDA);
multiclasslineardiscriminantanalysis;
logisticregression;
Adaboostandgradientboosting;
supportvectormachines(SVM)forclassification(SVC)andregression(SVR).
Chapter??: weconsidertheproblemofunobservedlabelsandpresentsomemethodstoproduceapartitionof
theinputspace:
expectation-maximizationforGaussianmixtures(softk-means);
k-meansalgorithm;
spectralclustering;
hierarchicalagglomerativeclustering;
density-basedspatialclusteringofapplicationswithnoise(DBSCAN).
Chapter??: thecurseofdimensionalityisquicklyaddressedandsomedimensionalityreductiontechniques
(linearornot)arepresented:
principalcomponentanalysis(PCA);
randomprojections;
kernelprincipalcomponentanalysis(KPCA);
multidimensionalscaling(MDS).
Inallchapters,westartfromagenerative(orstatisticalmodeling)pointofviewandgentlyslidetothe
discriminativeangle,keepinginmindVapnik’sprinciple:avoidingamoregeneral(andpotentiallymore
difficult)taskthantheoneweaimat.
4
剩余64页未读,继续阅读
syp_net
- 粉丝: 158
- 资源: 1196
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 2022年中国足球球迷营销价值报告.pdf
- 房地产培训 -营销总每天在干嘛.pptx
- 黄色简约实用介绍_汇报PPT模板.pptx
- 嵌入式系统原理及应用:第三章 ARM编程简介_3.pdf
- 多媒体应用系统.pptx
- 黄灰配色简约设计精美大气商务汇报PPT模板.pptx
- 用matlab绘制差分方程Z变换-反变换-zplane-residuez-tf2zp-zp2tf-tf2sos-sos2tf-幅相频谱等等.docx
- 网络营销策略-网络营销团队的建立.docx
- 电子商务示范企业申请报告.doc
- 淡雅灰低面风背景完整框架创业商业计划书PPT模板.pptx
- 计算模型与算法技术:10-Iterative Improvement.ppt
- 计算模型与算法技术:9-Greedy Technique.ppt
- 计算模型与算法技术:6-Transform-and-Conquer.ppt
- 云服务安全风险分析研究.pdf
- 软件工程笔记(完整版).doc
- 电子商务网项目实例规划书.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0