一. 线性代数 二. 概率论 三. 数理统计 四. 优化相关 五.信息论
向量 条件概率 样本 目标函数 信息熵
矩阵 联合概率 总体 全局最小值 互信息
集合 全概率公式 统计量 局部极小值 信息增益
标量 逆概率 参数估计 无约束优化 KL 散度
张量 贝叶斯公式 假设检验 约束优化 最大熵原理
范数 贝叶斯定理 置信区间 拉格朗日函数 交叉熵和相对熵的对比
内积 先验概率 区间估计 KKT 条件与对偶函数 各种熵之间的关系
向量正交 后验概率 泛化能力 梯度下降法
正交基 似然概率 泛化误差 一阶导数
特征值分解 最大似然估计法 欠拟合 二阶导数
奇异值分解 最大后验概率法 过拟合 牛顿法
矩阵分解 离散型随机变量 噪声 泰勒展开
连续型随机变量 偏差 线性搜索方法
概率质量函数 置信域方法
概率密度函数 启发式算法
两点分布
六.微积分
二项分布 导数和偏导数的定义与计算方法
泊松分布 梯度向量的定义
均匀分布 极值定理，可导函数在极值点处导数或梯度必须为 0
指数分布
雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求
导推导中会用到
正态分布
Hessian 矩阵，这是 2 阶导数对多元函数的推广，与函数的极值有密
切的联系
数字特征 凸函数的定义与判断方法
数学期望 泰勒展开公式
方差 拉格朗日乘数法，用于求解带等式约束的极值问题
协方差
