如何确定我的深度学习模型需要什么类型的层？答案

【问题标题】：How to determine what type of layers do I need for my Deep learning model?如何确定我的深度学习模型需要什么类型的层？
【发布时间】：2017-11-11 15:17:01
【问题描述】：

假设我想制作一个可以做某事的模型。现在，当我在 Google 或 YouTube 上搜索该主题时，我会发现很多相关的教程，似乎某个聪明的程序员已经使用深度学习实现了该模型。

但是他们怎么知道他们需要使用什么类型的层、什么类型的激活函数、损失函数、优化器、单元数量等来解决这个问题。

是否有任何技巧可以知道这一点，还是只是理解和经验的问题？另外，如果有人可以向我指出一些回答我问题的视频或文章，那将非常有帮助。

【问题讨论】：

这个问题不属于 SO。它与编程本身无关。你可以在stats.stackexchange.com 上问这个问题，但不是在这里
这是一个积极研究的领域。谷歌做了一些努力使架构变得可学习。一般来说，我建议从已知的良好配置开始，例如 VGG 网络，直到您了解每个组件以及它们是如何应用的。通过阅读深度学习书（在线和印刷版），您将了解更多有关架构选择的信息。这个问题没有灵丹妙药的答案。至少在 2017 年不会。

【解决方案1】：

这更多的是理解和经验的问题。从头开始构建模型时，您必须了解哪个优化器、损失等对您的特定问题有意义。为了适当地选择这些，您必须了解可用优化器、损失函数等之间的差异。

关于选择多少层和节点、多少批量大小、多少学习率等——这些都是您在试验模型时需要测试和调整的超参数 .

我有一个Deep Learning Fundamentals YouTube playlist，您可能会觉得有帮助。它涵盖了短视频中每个主题的基本知识。此外，如果您想在了解基本概念后更专注于编码，此Deep Learning with Keras playlist 也可能会有所帮助。

【讨论】：

【解决方案2】：

感谢您的提问。

在 CNN 上的 CS231n 斯坦福讲座最适合初学者参考视频讲座here 和课堂笔记here
观看讲座并完成作业后，您将大致了解什么是深度学习以及所有可用的算法等。
但是在解决现实世界的问题时，这还不够，所以请参考 Jeremy Howard 的 this course，他在其中教授更多关于如何使用 Kaggle 平台解决问题的内容。
继续使用hackerearth、Kaggle、topcoder 等多个平台尝试新模型和算法来解决更多问题。

【讨论】：