Skip Connections的科学解释答案

【问题标题】：Scientific explanation of Skip ConnectionsSkip Connections的科学解释
【发布时间】：2018-05-07 11:58:53
【问题描述】：

我正在寻找关于跳过连接的科学工作。

每个人都在谈论改善通过网络的梯度流，这感觉是有道理的。但是我很想了解和阅读数学和代码的含义以及如何深入在 tensorflow 中实现它。

除了resnet paper，我还没有深入了解这些神奇的跳过连接。

我很喜欢所有的提示、论文和方程式。

【问题讨论】：

arxiv.org/abs/1611.04231
openreview.net/pdf?id=HkwBEMWCZ
这里有cmets关于“这个问题不属于这里”。每次我回答赞成票如何表现出对这个话题的兴趣，并且我最喜欢这个社区，因为它的活跃和知识渊博的成员 - 这就是为什么这个问题在这里。为了可读性，我删除了我的其他cmet，不再争论。
我投票决定将此问题作为离题结束，因为它与编程本身无关。虽然这是一个有趣的调查主题，但不是本网站的主题。

标签： python tensorflow deep-learning gradient-descent resnet

【解决方案1】：

我不确定除了它改善梯度流之外还有什么，因为它可以很容易地了解何时来自前一层的信息不必改变太多。除此之外，我会说它类似于 RNN，其中对于较大的时间步长，它往往会忘记早期层的依赖关系。同样，当您有一个 CNN 网络时，我们使用池化层来减小输入的大小以使其变得更小，我们这样做是以牺牲一些信息为代价的，因此它有助于在我们可以从早期层和后期层获得的信息之间建立依赖关系。此外，跳过连接的作用是它们有助于解决比没有跳过连接更容易的优化问题。

希望对您有所帮助。

【讨论】：