线性空间
Definition of Linear space
1. α+β=β+α 2. (α+β)+γ=α+(β+γ)
3. α+0=0+α=α 4. α+(-α)=0 5. 1·α=α
6. k·(m·α)=(km)·α 7. k·(α+β)=k·α+k·β
8. (k+m)·α=k·α+ m·α
S 是 V 的 subspace(子空间)需要满足:
(i)
𝐱
∈
𝐒
,
0
·
𝐱𝐱
·
0
,
then
0
∈
𝐒
(ii)
𝐱
∈
𝐒
and
𝐲
∈
𝐒
,
then
𝐱
+
𝐲
∈
𝐒
(iii)
𝐱
∈
𝐒
and scalar
𝑎
∈
𝐏
,
then
𝑎
·
𝐱
∈
𝐒
Inner product spaces(内积空间)需要满足:(横杠是共轭)
1.
𝛼, 𝛽
𝛽, 𝛼
2.
𝛼𝛽, 𝛾
𝛼, 𝛾
𝛽, 𝛾
3.
𝑘𝛼, 𝛽
𝑘
𝛼, 𝛽
4.
𝛼, 𝛼
0, 𝛼0 是
𝛼, 𝛼
0 的充要条件
On the vector space
𝐶
[
𝑎
,
𝑏
]
𝑓, 𝑔
𝑓
𝑡
𝑔
𝑡
𝑑𝑡
defines an inner product on
𝐶
[
𝑎
,
𝑏
]
(3)的证明:
|
|𝛼𝛽
|
|
𝛼𝛽, 𝛼𝛽
𝛼𝛽, 𝛼𝛽
𝛼, 𝛼
𝛽, 𝛼
𝛼, 𝛽
𝛽, 𝛽
𝛼, 𝛼
𝛽, 𝛼
𝛼, 𝛽
𝛽, 𝛽
(4)的证明:𝛽0,
𝛼, 𝛽
0,
|
𝛽
|
0,0
𝛼𝑡𝛽, 𝛼𝑡𝛽
𝛼, 𝛼
𝑡
𝛽, 𝛼
𝑡
𝛼, 𝛽
|𝑡|
𝛽, 𝛽
令𝑡
,
,
,上式
𝛼, 𝛼
,
,
,
,
,
,
,
,
,
𝛼, 𝛼
,
,
,
0,
因此得证
(5)的证明:
𝛼𝛽, 𝛼𝛽
𝛼, 𝛼
𝛽, 𝛼
𝛼, 𝛽
𝛽, 𝛽
|
𝛼
|
|
𝛽
|
|
𝛼
|
|
𝛽
|
2
|
𝛼
|
|
𝛽
|
只需要
证
2𝑅
𝛼, 𝛽2|𝛼, 𝛽| 2
|
𝛼
|
|
𝛽
|
Orthonormal basis标准正交基
史密斯标准正交化的公式
|
𝜷
|
𝜷, 𝜷,和,表示内积
least squares solution:
𝑥𝐴
𝐴
𝐴
𝑏
A is a linear mapping||linear transformation 线性映射
首先证明是 V - V的映射,其次证下方两条
𝓐
为正交变换:
𝓐
𝒙
, 𝓐
𝒚
𝒙, 𝒚
Diagonalization(对角化):有 n 个线性无关的特征向量
对角化的一组基即为几个特征向量
Isomorphism(同构)
Kernel Range subspace(值域,核域)
值域为所有列向量张成的空间
核域是符合 A x 0 的所有 x 张成的空间
R𝑨span𝜺𝟏, 𝜺𝟐…,𝜺𝒏
R𝓐span𝓐
𝜺𝟏
, 𝓐
𝜺𝟐
… 𝓐𝜺𝒏
orthogonal matrix正交矩阵:A
T
A=AA
T
=I
unitary matrix(酉矩阵):A
H
A=AA
H
=I
Unimodular matrix: 𝐴𝜆 is Unimodular 的充要条件是 A 的行
列式值不为 0 detA是 A 的行列式
Hermitian matrix
三种因子和约当标准型
Smith normal form Smith 标准形)
对角线有数字其余全为 0,最高幂次是 1,越往下越大
Determinant divisors(行列式因子)
子式是直接扣掉中间某行就行,不需要和求行列式那样复杂
elementary divisors(初等因子)
1.不变因子分解 2. 史密斯标准型分解 3.块对角矩阵可以求
各个块的初等因子
invariant divisors(不变因子)
1.行列式因子 dn Dn /Dn-1 2.史密斯标准型的对角线元素就
是不变因子 3.初等因子分类降幂排列
矩阵相似 𝜆𝐼 𝐴 and 𝜆𝐼 𝐵 are equivalent
特征矩阵相抵 𝜆𝐼 𝐴 and 𝜆𝐼 𝐵 are equivalent
三种因子相同
约当标准型 (有几个初等因子就有几个约当块)
𝐽
⎣
𝑓
𝜆
𝑓′
𝜆
1
2!
𝑓′′
𝜆
…
1
𝑛
1!
𝑓
𝜆
0 𝑓
𝜆
𝑓′
𝜆
⋱ ⋮
00 ⋱⋱
1
2!
𝑓′′
𝜆
⋮⋮ ⋮… 𝑓′
𝜆
00 0… 𝑓
𝜆
⎦
algebraic multiplicity (代数重数):对应特征值是几重根
geometric multiplicity(几何重数): n-rI-A
有几个约当块就有几个线性无关的特征向量 linearly
约当标准型记为 J 则:rAE rJE rAaE rJaE
independent eigenvectors
J 的初等因子是
给定任意多项式 fλ,则有
characteristic polynomial(特征多项式)det( 𝜆𝐼 − 𝐴 )
Given a matrix 𝐴 of order n, any polynomial 𝜑(𝜆) such that
𝜑(𝐴) = 𝑂 is called an annihilating polynomial(化零多项式)
for 𝐴. The monic annihilating polynomial of lowest degree(首
项系数为 1 且次数最低的化零多项式)𝑚(𝜆) for a square
matrix 𝐴 is called the minimal (or minimum) polynomial (最小
多项式) for 𝐴 (最小多项式是唯一的)
最小多项式等于第 n 个不变因子!!!!!
最小多项式对应值的阶数等于约当标准型中该值约当块的最
高阶数
当且仅当最小多项式 m 是不同线性因子的乘积时矩阵与对角
矩阵相似。
矩阵的特征值是最小多项式的根
相似的矩阵有相同的化零多项式和最小多项式。
A 的最小多项式是 A1,A2...As 的最小
多项式的最小公倍数
如果最小多项式是不同的一次因式的乘积,则是可对角化的,
也就是 𝑚
𝜆
𝜆𝜆
…
𝜆𝜆
中 n1...nn 均为 1
各种分解
满秩分解 Full-rank Factorization
𝐿
𝐿
A=
𝑐
0
A=
𝐿
𝐿
𝑐
0
对于本身就满秩的矩阵满秩分解可以是单位矩阵乘它本身
LU 分解
方法与上面的方法相同
LU 分解求方程:Axb → LUxb → Lyb → Uxy
具体过程见练习
LDU 分解
L 是下三角矩阵,对角线为 1,D 为对角矩阵(对角线有值,
其他为 0),U 为上三角矩阵,对角线为 1,则称为 LDU 分解
QR 分解
酉矩阵:Q
H
Q=QQ
H
=I,也就是 Q 的逆矩阵等于 Q 的共轭转置
也就是说任意复方阵 A 酉相似于上三角阵
上面就是 schur 定理的中英文解释,接下来将证明它
正规矩阵:A
H
A=AA
H
,等价于 A 酉相似于一个对角矩阵。
A 酉相似于 B: A=UBU
H
SVD 分解 The Singular Valure Decomposition
nonsingular 非奇异 行列式不为 0
奇异值分解:𝐴 𝑈Σ𝑉
H
U 由 AA
H
的特征向量构成,V 由
A
H
A 的特征向量构成,Σ对角线上是奇异值.另一种计算方法:
1.计算 A
H
A 2.计算 A
H
A 的特征值和特征向量,并对特征向
量标准正交化从而构成 V 3.U
1
AV
1
Σ
-1
4.计算 AA
H
特征
值 0 对应的特征向量并标准正交互化 5.结合 3,4 所得即为 U
或 34 步换为如下方法: 大的特征值在上面!!!
也可也求完 U1 选择基扩充得到完整的 u
Cholesky 分解:
ALL
T
正定矩阵!!!
L
𝑙11 0 … 0
𝑙21 𝑙22 … 0
⋮⋮⋱⋮
𝑙𝑛1 𝑙𝑛2…𝑙𝑛𝑛
L
𝑙11 𝑙21 … 𝑙𝑛1
0 𝑙22 … 𝑙𝑛2
⋮⋮⋱⋮
00…𝑙𝑛𝑛
11
11 11 21 11 31 11 1
21 11 21 21 22 22 21 31 22 32 21 1 22 2
31 11 31 21 32 22 31 31 32 32 33 33 31 1 32 1 33 3
1 11 1 21 2 22 1 31 2 32 3 33 1 1 2 2
n
nn
nnn
nn nn
nn n n n n nnnn
ll ll ll ll
ll ll ll ll ll ll ll
ll ll ll ll ll ll ll ll ll
ll ll l l ll l l l l ll l l l l
Hermitian matrix :A=A
H
Hermitian matrix is unitarily similar to a real diagonal matrix 酉
相似于实对角矩阵(酉矩阵相似于实对角矩阵)
证明:充分性:If 𝐴 is unitarily similar to a diagonal matrix Λ, 𝐴
= 𝑈Λ𝑈
𝐻
, Then 𝐴𝐴
𝐻
= 𝑈Λ𝑈
𝐻
𝑈Λ
𝐻
𝑈
𝐻
= 𝑈ΛΛ
𝐻
𝑈
𝐻
= 𝑈Λ
𝐻
Λ𝑈
𝐻
= 𝐴
𝐻
𝐴 必然性:By the Schur’s Theorem, there exists an unitary
matrix U such that𝐴 = 𝑈𝑅𝑈
𝐻
,where:
Since 𝐴A
𝐻
=A
𝐻
A, we have 𝑅𝑅
𝐻
= 𝑅
𝐻
𝑅,thus,
orthogonal:正交的
unitary matrix:酉矩阵 Hermitian Matrices 的特征值是实数
nonsingular matrix :非奇异矩阵
行列式等于 0 为奇异矩阵,行列式不等于 0 为非奇异矩阵
positive definite,A 是正定的则 X
H
AX>0 且 X 不为 0
positive semi-definite. 半正定
判断 A 是正定矩阵:A 的特征值均大于零或 A 的各阶顺序主
子式大于零
判断 A 是半正定矩阵:A 的特征值均大于等于零或 A 的所有
主子式大于等于零(主子式三阶矩阵有七个,其中二阶主子式
是去掉第一行第一列,去掉第二行第二列,去掉第三行第三
列,一阶是对角线上的三个元素)
7.2.1 证明:
1→2:∀𝑦0, 𝑦
𝑃
𝐴𝑃𝑦
Py
A
Py
X
AX, ∵P is
nonsingular,∴X 0, X
AX 0
2 →3: U
AU
𝜆
…
𝜆
0, ∴𝜆
0
3→4:n 个特征值均大于 0,所以正惯性指数为 n,因此
P
AP 为单位阵
4→5:A P
IP
Q
𝑄
5→1:∀𝑋0, 𝑄 𝑖𝑠 𝑛𝑜𝑛𝑠𝑖𝑛𝑔𝑢𝑙𝑎𝑟, ∴QX 0.X
AX
X
Q
QX
QX
QX
0
6→1:𝐴𝑆
S
𝑆, ∀𝑋0, 𝑆 𝑖𝑠 𝑛𝑜𝑛𝑠𝑖𝑛𝑔𝑢𝑙𝑎𝑟, ∴SX
0.X
AX X
S
SX
SX
SX
0
1→6:∵A 0, ∴𝜆
0, ∵A 相似于实对角阵
A is similar to a real diagonal matrix
, ∴𝜆
is real number.
A U
𝜆
…
𝜆
U
下面需要补充
𝑆
的特征,按
6
)
U
𝜆
…
𝜆
U
U
𝜆
…
𝜆
U
𝑆𝑆
范数
向量范数需要满足以下三个规则:
1. ∀𝛼∈𝑉,
‖
𝛼
‖
0, 等号在 α0 时成立
2. ∀𝛼∈𝑉, ∀𝑘∈𝑃,
‖
𝑘𝛼
‖
|
𝑘
|‖
𝛼
‖
3. ∀𝛼, 𝛽∈𝑉,
‖
𝛼𝛽
‖
‖
𝛼
‖
‖
𝛽
‖
1.
|‖
𝛼
‖
‖
𝛽
‖|
‖
𝛼𝛽
‖
2. The distance between and is 𝑑
𝛼, 𝛽
‖
𝛼𝛽
‖
向量的四个范数的公式
‖
𝑥
‖
|
𝑥
|
‖
𝑥
‖
|
𝑥
|
‖
𝑥
‖
max
|
𝑥
|
‖
𝑥
‖
|
𝑥
|
, 𝑝1
矩阵范数需要满足以下四个规则:
1.
‖
𝐴
‖
0, 等号在 A 0 时成立,Positivedefiniteness
2. ∀𝑘∈𝑃,
‖
𝑘𝐴
‖
|
𝑘
|‖
𝐴
‖
, 𝐻𝑜𝑚𝑜𝑔𝑒𝑛𝑒𝑜𝑢𝑠𝑛𝑒𝑠𝑠
3.
‖
𝐴𝐵
‖
‖
𝐴
‖
‖
𝐵
‖
, 𝑇𝑟𝑖𝑎𝑛𝑔𝑙𝑒 𝑖𝑛𝑒𝑞𝑢𝑎𝑙𝑖𝑡𝑦
4.
‖
𝐴𝐵
‖
‖
𝐴
‖‖
𝐵
‖
, 𝑺𝒖𝒃𝒎𝒖𝒍𝒕𝒊𝒑𝒍𝒊𝒄𝒂𝒕𝒊𝒗𝒊𝒕𝒚 𝒄𝒐𝒏𝒔𝒊𝒔𝒕𝒆𝒏𝒄𝒚
矩阵的四个范数的公式
‖
𝐴
‖
‖
𝐴
‖
‖
𝐴
‖
max
𝑎
列和
‖
𝐴
‖
𝜆
𝐴
𝐴
‖
𝐴
‖
max
∑
𝑎
行和
tr(对角线元素之和)
‖
𝐴
‖
∑∑
𝑎
𝑡𝑟
𝐴
𝐴
‖
𝐴
‖
max
‖
‖
‖
‖
‖
𝐴
‖
,
max
‖
‖
‖
𝐴𝑥
‖
证明可用结论
‖
𝐴𝐵
‖
‖
𝐴
‖
‖
𝐵
‖
,
‖
𝐴𝐵
‖
‖
𝐴
‖‖
𝐵
‖
𝐴𝜆
𝐴
∙𝐼, 𝑃
𝐴
𝐴𝑃0
𝜆
𝐴
𝐴
∙𝐼𝐴
𝐴→ 𝜆
𝐴
𝐴
∙𝐼𝐴
𝐴0
→𝐵
𝜆
𝐴
𝐴
∙𝐼𝐴
𝐴∙𝐵0
→𝜆
𝐴
𝐴
∙𝐵
𝐵𝐴𝐵
𝐴𝐵
‖
𝐴
‖
‖
𝐴
‖
,
‖
𝐴
𝐴
‖
‖
𝐴
‖
,
‖
𝐴
‖
‖
𝐴
‖
,
‖
𝑈𝐴
‖
‖
𝐴𝑉
‖
‖
𝑈𝐴𝑉
‖
‖
𝐴
‖
‖
𝑈𝐴
‖
‖
𝐴𝑉
‖
‖
𝑈𝐴𝑉
‖
‖
𝐴
‖
‖
𝐴
‖
max
‖
‖
‖
𝐴𝑥
‖
‖
𝐴𝑥
‖
𝐴𝑥, 𝐴𝑥
𝑥
𝐴
𝐴𝑥
𝝆
𝑨
A 的谱半径,是 A 的特征值中绝对值最大的数的绝对值
𝜌
𝐴
𝜆
𝐴
‖
𝐴
‖
, 𝜌
𝐴
𝐴
𝜆
𝐴
𝐴
极限