深度学习 第一章 深度学习简介

深度学习入门-唐宇迪 笔记

深度学习 第一章 简介

1.安装anaconda

2.常规套路

• 收集数据，给定标签
• 训练一个分类器
• 测试、评估

3.超参数选择

• 交叉验证：平均值作为验证集总效果
  • k-fold，将训练集切分成k份，这里是5
  • 每一份作为验证集，其他四份作为训练集训练
    • 【1，2，3，4】->建模， 5作为验证集
    • 【1，2，3，5】->建模， 4作为验证集
    • 【1，2，4，5】->建模， 3作为验证集
    • 【1，3，4，5】->建模， 2作为验证集
    • 【2，3，4，5】->建模， 1作为验证集
  • 验证集效果：1+2+3+4+5/5 (5份验证集结果取平均）

            

 

4.得分函数

• 函数定义：
  • f（x，w） = W * x + b 
    • W表示权重参数，b表偏置项

                              

• 计算过程
  • W = 3*4 ，3表示预测类别，4表示每个类别向量的维度 
  • Cat score : 0.2*56+-0.5*231+0.1*24+2.0*2 = -96.8
  •  dog socre：
  •  ship score:

                 

 

5.损失函数

• svm损失函数
  • 计算每个错误类别和正确类别之间的差距的和（小于零取0值）
  • Li 越大，效果越差
  • 评估的是权重参数，权重即重要程度

                        

 

6.softmax分类器

• sigmoid函数：x越接近于0，梯度越大；x越大，梯度越接近于0

      

• softmax分类器：
  • 输出：概率
  • 步骤：
    • 第一步exp：放大差异
    • 第二步归一化：希望输出的是概率
    • 第三步-log：交叉熵，希望归一化的概率越接近于1，loss越小，表示分对损失值小；归一化的概率越接近于0，loss越大，表示分错损失值大，交叉熵可以达到这样效果
      • 交叉熵可以理解为信息量，输入概率值越大，越可能发生，信息量越小；输入概率小，越不可能发生，一旦发生携带的信息量越大