1.本节问题 :现在很多ML团队想尽一切办法收集更多数据让模型效果更好,导致了训练数据可能和验证/测试数据稍微不同分布,怎样处理这样的问题呢?
2. 课堂笔记
例1:开发一个app识别用户上传的图片是不是猫,但是用户上传的图片都很模糊,有10,000张,你从网上爬取的图片都很高清有200,000张,这两个数据集不是同一分布的,但是只用10,000张图片进行训练数据量太少,有两种方法:

  • 可以将数据洗牌,然后重新划分三个集合使用
  • 200,000张爬虫照片+5,000张用户上传图片组成训练集,验证集2,500和测试集2,500取自剩下5,000张用户图片。
    吴恩达DL3.2.4节:在不同的划分上进行训练并测试方法一:根据期望算出测试集中的爬虫照片大概有2381张,只有119张用户图片,数据严重不平衡,target设立不适合。
    方法二:这样就相当于是告诉你的团队将target瞄准用户上传的图片。

例2:进行汽车后视镜开发(语音助手)
吴恩达DL3.2.4节:在不同的划分上进行训练并测试可以用其他地方收集到的数据加用户数据组成训练集,验证集和测试集。


你收集到的所有数据都要用上吗?答案不是绝对的,下节揭晓。

相关文章:

  • 2021-12-06
  • 2021-10-16
  • 2021-11-02
  • 2021-05-19
  • 2021-10-02
  • 2022-01-07
  • 2021-08-18
  • 2021-07-29
猜你喜欢
  • 2021-12-03
  • 2022-03-05
  • 2021-07-09
  • 2022-12-23
  • 2021-05-27
  • 2021-07-10
  • 2021-04-19
相关资源
相似解决方案