sujie-168
⭐️机器学习⭐️数理基础
这是一张关于机器学习数理基础的表格
| 算法或理论 | 用到的数学知识点 |
|---|---|
| 贝叶斯分类器 | 随机变量，贝叶斯公式，随机变量独立性，正态分布，最大似然估计 |
| 决策树 | 概率，熵，Gini 系数 |
| KNN 算法 | 距离函数 |
| 主成分分析 | 协方差矩阵，散布矩阵，拉格朗日乘数法，特征值与特征向量 |
| 流形学习 | 流形，最优化，测地线，测地距离，图，特征值与特征向量 |
| 线性判别分析 | 散度矩阵，逆矩阵，拉格朗日乘数法，特征值与特征向量 |
| 支持向量机 | 点到平面的距离，Slater 条件，强对偶，拉格朗日对偶，KKT 条件，凸优化，核函数，Mercer 条件 |
| logistic 回归 | 概率，随机变量，最大似然估计，梯度下降法，凸优化，牛顿法 |
| 随机森林 | 抽样，方差 |
| AdaBoost 算法 | 概率，随机变量，极值定理，数学期望，牛顿法 |
| 隐马尔可夫模型 | 概率，离散型随机变量，条件概率，随机变量独立性，拉格朗日乘数法，最大似然估计 |
| 条件随机场 | 条件概率，数学期望，最大似然估计 |
| 高斯混合模型 | 正态分布，最大似然估计，Jensen 不等式 |
| 人工神经网络 | 梯度下降法，链式法则 |
| 卷积神经网络 | 梯度下降法，链式法则 |
| 循环神经网络 | 梯度下降法，链式法则 |
| 生成对抗网络 | 梯度下降法，链式法则，极值定理，Kullback-Leibler 散度，Jensen-Shannon 散度，测地距离，条件分布，互信息 |
| K-means 算法 | 距离函数 |
| 强化学习 | 数学期望，贝尔曼方程 |
| 贝叶斯网络 | 条件概率，贝叶斯公式，图 |
| VC 维 | Hoeffding 不等式 |