没有合适的资源？快使用搜索试试~ 我知道了~

首页机器学习中的基本数学知识

机器学习中的基本数学知识

人工智能

机器学习

需积分: 21 25 下载量 147 浏览量更新于2023-05-30 1 收藏 2.35MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

22页

本的代码是使 Python 3写的。涵盖了微积分、线型代数、统计概率等高等数学内容

资源详情

资源推荐

机学习中的基本数学知识

注：本的代码是使󰉁Python 3写的。

机学习中的基本数学知识

线性代数（linear algebra）

第公式

矩阵的操作

换位(transpose)

矩阵乘法

矩阵的各种乘积

内积

外积

元素积(element-wise product/point-wise product/Hadamard product

加

低等数学

何

范数(norm)

拉格朗乘法和KKT条件

微分（differential）

表示形式

法则

常󰤁导数公式

统计学/概率论

信息论

󰶶农熵（Shannon Entropy）

知道放到哪

机学习

激活函数

损失函数

附录

希腊字的含义和发󰵋

数学符号的含义和发󰵋

参照

线性代数（linear algebra）

第公式

f(x) = xw

+ b

这是在机学习中，最常󰤁的公式。我把这个称为机学习的第公式，实际上就是线性

分类函数(linear classifier)。

训练分类的󰋴标就是求出 (w, b)。

其中：

x 是个󰢩矩阵 [[x

, x

, . . . , x

]]。

w 是个󰢩矩阵 [[w

, w

, . . . , w

]]。

x 和 w 的维度相同。

b 是个数。

= ∑

i = 1

，称为点积(dot product)。

有时，我们也会󰤁到这个公式表示为类似下󰴯的样，它们的基本含义都是样的。

f(x) = wx + b

f(x) = w

x + b

f(x) =

→

w ⋅

→

x + b

注：这󰮟 w表示为个维数组（或者向󰮢、󰍂󰮢（vector））

, x

, . . . , x

]。

注：维数组：在数学上，可以󰇹解为向󰮢，表示多维空间上的个点。

注：由于在线性代数中，矩阵乘法 ab ≠ ba，所以对于表达式 w

，严格地说，要把󰍂󰮢（向󰮢）看做的矩阵(󰖳是󰢩的矩阵)，才符合数

学上的定义。

注：表达式

→

w ⋅

→

x和 wx是正确的，因为 w和 x是󰍂󰮢，这个符合󰍂󰮢

计算的定义。

矩阵的操作

由于，这篇章是从数学的󰤐度写的，所以我们先关注矩阵的操作。

f(x) = x + b

(w, b)

[[ , , . . . , ]]

x w

x =

∑

i=1

f(x) = wx + b

f(x) = x + b

f(x) = ⋅ + b



[ , , . . . , ]

ab ≠ ba

⋅



wx w x

换位(transpose)

矩阵的换位操作：将矩阵中的数按照对󰤐线交换。

数学公式： w

代码示：

# Matrix Transpose

m = numpy.mat([[1, 2], [3, 4]])

print("Matrix.Transpose:")

print(m.T)

''' Output:

Matrix.Transpose:

[[1 3]

[2 4]]

'''

矩阵乘法

矩阵相乘的含义

如果苹果10元，5苹果多少元？答案是： 10 ∗ 5 = 50

如果苹果10元，20元，5苹果2共多少元？

答案是：

10 20

= 10 × 5 + 20 × 2 = 90

我们可以看出矩阵相乘的约束：乘数1的数要和乘数2的󰢩数相等。

矩阵乘法满󰨤交换

m1 ⋅ m2 ≠ m2 ⋅ m1

我们再看看交换乘数后，计算的结果：

10 ∗ 5 = 50

[ ] [ ]= 10 × 5 + 20 × 2 = 90

10 20

[ ]

m1 ⋅ m2 ≠ m2 ⋅ m1

[ ]

5 2

10 × 5 10 × 2

20 × 5 20 × 2

50 20

100 40

如：数 20的含义是2苹果多少钱。

举说明它们的同之处：

m1 =

1 2

m2 =

m1 ⋅ m2的计算法是：

m1 ⋅ m2 =

1 2

1 ∗ 10 + 2 ∗ 20

m2 ⋅ m1的计算法是：

[ ][ ]

5 2

= [ ]

10 × 5

20 × 5

10 × 2

20 × 2

= [ ]

100

[ ]

[ ] [ ]

m1 = [ ]

1 2

[ ]

m2 = [ ]

[ ]

m1 ⋅ m2

m1 ⋅ m2 = = [ ]

[ ]

1 2

[ ]

1 ∗ 10 + 2 ∗ 20

[ ]

m2 ⋅ m1

m2 ⋅ m1 =

1 2

10 10 ∗ 1 10 ∗ 2

20 20 ∗ 1 20 ∗ 2

10 20

20 40

计算公式

矩阵相乘是：󰉁矩阵1的每󰢩和矩阵2的每的点积，得到个矩阵。

l ∗ m 的矩阵乘以 m ∗ n 的矩阵，形成个 l ∗ n 的矩阵。

m2 ⋅ m1 = = [ ]

10 ∗ 1

20 ∗ 1

10 ∗ 2

20 ∗ 2

[ ]

l ∗ m

m ∗ n

l ∗ n

x ⋅ y

= [ ]

⋯

⎡

⎣

⎢

⋯

⎤

⎦

⎥

= [ ]

∑

i=1

x ⋅ y

= [ ]

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⋯

⎡

⎣

⎢

⋯

⎤

⎦

⎥

x ⋅ y

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⎡

⎣

⎢

∑

i=1

⋯

∑

i=1

⋯

∑

i=1

⋯

∑

i=1

⎤

⎦

⎥

剩余21页未读，继续阅读

机器学习导论中文笔记整理.zip

上海交大机器学习导论主讲教师：张志华主要内容包含： 1.再生核 2.数据降维 3.EM算法 4.多维标度 5.矩阵补充 6.聚类方法 7.判别分析 8.线性分类 9.生成模型 10.支持向量机 11.提升方法

机器学习数学公式汇总

总结了新人学习机器学习过程中需要用的常用数学公式汇总

机器学习中的数学

arthurcsh

粉丝: 35
资源: 23

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

机器学习中的基本数学知识

机器学习导论中文笔记整理.zip

机器学习数学公式汇总

机器学习中的数学

白话机器学习的数学pdf

白话机器学习的数学 pdf

机器学习的数学 雷明 pdf

学习周志华的机器学习一书，需要具备哪些数学知识

机器学习的数学 雷明著 pdf

《机器学习算法数学解析与python实现》莫凡 pdf

斯坦福大学机器学习的数学基础.pdf

如何开始学习机器学习

对于一个python零基础人员，你建议如何学习机器学习

学习机器学习，需要哪些知识基础

如何更快的了解机器学习

如何快速了解机器学习相关知识

详细介绍机器学习的基本概念和研究内容

usct 机器学习与知识发现考试

机器学习的学习路径是什么

在学习机器学习算法之前需要有哪些知识储备

如何快速入门机器学习

会员权益专享

最新资源

机器学习的数学雷明 pdf

机器学习的数学雷明著 pdf