Github | NumPy手写全部主流机器学习模型

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

编辑：Sophia
计算机视觉联盟  报道  | 公众号 CVLianMeng

转载于 ：Github

推荐文章【点击下面可直接跳转】：

AI博士笔记系列推荐：

该 repo 的模型或代码结构如下所示：

1. 高斯混合模型

• EM 训练

2. 隐马尔可夫模型

• 维特比解码

• 似然计算

• 通过 Baum-Welch/forward-backward 算法进行 MLE 参数估计

3. 隐狄利克雷分配模型（主题模型）

• 用变分 EM 进行 MLE 参数估计的标准模型

• 用 MCMC 进行 MAP 参数估计的平滑模型

4. 神经网络

4.1 层/层级运算

• Add

• Flatten

• Multiply

• Softmax

• 全连接/Dense

• 稀疏进化连接

• LSTM

• Elman 风格的 RNN

• 最大+平均池化

• 点积注意力

• 受限玻尔兹曼机 (w. CD-n training)

• 2D 转置卷积 (w. padding 和 stride)

• 2D 卷积 (w. padding、dilation 和 stride)

• 1D 卷积 (w. padding、dilation、stride 和 causality)

4.2 模块

• 双向 LSTM

• ResNet 风格的残差块（恒等变换和卷积）

• WaveNet 风格的残差块（带有扩张因果卷积）

• Transformer 风格的多头缩放点积注意力

4.3 正则化项

• Dropout

• 归一化

• 批归一化（时间上和空间上）

• 层归一化（时间上和空间上）

4.4 优化器

• SGD w/ 动量

• AdaGrad

• RMSProp

4.5 学习率调度器

• 常数

• 指数

• Noam/Transformer

• Dlib 调度器

4.6 权重初始化器

• Glorot/Xavier uniform 和 normal

• He/Kaiming uniform 和 normal

• 标准和截断正态分布初始化

4.7 损失

• 交叉熵

• 平方差

• Bernoulli VAE 损失

• 带有梯度惩罚的 Wasserstein 损失

4.8 **函数

• ReLU

• Tanh

• Affine

• Sigmoid

• Leaky ReLU

4.9 模型

• Bernoulli 变分自编码器

• 带有梯度惩罚的 Wasserstein GAN

4.10 神经网络工具

• col2im (MATLAB 端口)

• im2col (MATLAB 端口)

• conv1D

• conv2D

• deconv2D

• minibatch

5. 基于树的模型

• 决策树 (CART)

• [Bagging] 随机森林

• [Boosting] 梯度提升决策树

6. 线性模型

• 岭回归

• Logistic 回归

• 最小二乘法

• 贝叶斯线性回归 w/共轭先验

7.n 元序列模型

• 最大似然得分

• Additive/Lidstone 平滑

• 简单 Good-Turing 平滑

8. 强化学习模型

• 使用交叉熵方法的智能体

• 首次访问 on-policy 蒙特卡罗智能体

• 加权增量重要采样蒙特卡罗智能体

• Expected SARSA 智能体

• TD-0 Q-learning 智能体

• Dyna-Q / Dyna-Q+ 优先扫描

9. 非参数模型

• Nadaraya-Watson 核回归

• k 最近邻分类与回归

10. 预处理

• 离散傅立叶变换 (1D 信号)

• 双线性插值 (2D 信号)

• 最近邻插值 (1D 和 2D 信号)

• 自相关 (1D 信号）

• 信号窗口

• 文本分词

• 特征哈希

• 特征标准化

• One-hot 编码/解码

• Huffman 编码/解码

• 词频逆文档频率编码

11. 工具

• 相似度核

• 距离度量

• 优先级队列

• Ball tree 数据结构

END

声明：本文来源于网络

如有侵权，联系删除

联盟学术交流群

扫码添加联盟小编，可与相关学者研究人员共同交流学习：目前开设有人工智能、机器学习、计算机视觉、自动驾驶（含SLAM）、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群，备注：CV联盟  

最新热文荐读

点个在看支持一下吧