一、视频学习心得及问题汇总
视频学习心得
| 姓名 | 学习心得 |
|---|---|
| 孟德森 | 人工智能的目的是想让机器能像人类一样思考和解决问题，实现人工智能的方式可以采用机器学习的方法，而深度学习就是机器学习方法中的一种。深度学习应用了神经网络，神经网络蓬勃发展到今天，离不开算法、算力和数据三个要素的支撑。单层感知器可以说是最简单的一种神经网络，但是它只能解决线性的分类问题，多层感知器就可以解决非线性分类任务了，这是因为添加了激活函数，相当于添加了非线性的变换。根据万有逼近定理，满足一定条件的神经网络就可以以任意精度逼近任意连续函数/非连续函数。 神经网络就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投影到线性可分的空间去分类/回归，增加节点数就是在增加维度，可以增加线性转换能力，增加层数可以增加非线性转换的次数。结论是瘦高的网络更好，即在神经元总数一定的情况下，增加网络深度可以比增加宽度带来更强的网络表示能力，但是多层神经网络存在的问题是梯度消失，这也造成了神经网络的第二次衰落，逐层预训练（两种实现方式：自编码器和RBM）一定程度上改善了梯度消失的问题，但是真正解决梯度消失问题是采用激活函数Relu，后面RNN的梯度消失问题则通过选择记忆和遗忘机制来克服。 https://www.cnblogs.com/kerin637/p/15354859.html |
| 解正源 | 人工智能是一种科技领域，分为机器学习，数据挖掘（大概是大数据方向）以及其他方面如作为AL分支的NLP等。对于机器学习，根据有无监督又分为全监督学习（回归算法、朴素贝叶斯以及SVM等），无监督学习（聚类算法，如sklearn的KMeans）以及半监督学习；根据是否应用了神经网络又分为传统机器学习以及神经网络(Neural Network)——深度学习。神经网络借助了生物中神经元的思想，M-P神经元是对生物神经元的抽象和简化。BP算法在神经网络里增加了一个隐层，解决了XOR难题，效率比感知器大大提高。反向传播算法把纠错的运算量下降到只和神经元数目成正比。激活函数可以使神经网络拟合非线性函数。到现在的卷积神经网络等已经可以解决复杂的问题，未来有待进一步探索。 |
| 高成思 | 视频对机器学习到深度学习的历史和大概思想做了一个概述，感觉自己对于数学知识的掌握还不够，看视频的讲解有些都反应不过来。如今的计算速度发展越来越快，新技术也是层出不穷，还是需要不断学习提升自己。 |
| 谢雨成 | 人工智能是一个广阔的概念，机器学习是其中的一个方面，而深度学习是机器学习的一个方面。 神经网络仿照生物的神经元，由M-P神经元出现开始，到单层感知器（首个可以学习的人工网络），再到多层感知器和激活函数（解决了非线性可分问题），BP方法调整参数可以使loss函数向极小值靠近，再到ReLU函数改善梯度下降，直到今天的AlexNet、Inception家族、ResNet及一些变种。中间由于理论或硬件技术等难题经历过几次低谷，随着技术的发展和理论的更新，有过几次爆发。 当今的人工智能还在感知智能的方面发展（视觉、自然语言处理等），仍存在着很多不足和难以解决的问题。 https://www.cnblogs.com/Te4P0t/p/15363182.html |
| 刘源 | 了解了深度学习的发展历史，知道了深度学习的能与不能。深度学习依靠强大的算力。神经网络是一种强大的学习算法，它的灵感来自于大脑的工作方式。本质上来说就是输入通过神经网络算法的映射从而尽量的靠近甚至命中最终的正确结果。 |
| 李相潭 | 视频中印象比较深刻的是深度学习中的一些“不能”，如算法输出不稳定、模型复杂度高、难以纠错和调试、模型层级复合程度高、参数不透明、端到端训练方式对数据依赖性强、模型增量性差、对开放性推理问题无能为力、人类知识无法有效引入进行监督，机器偏见难以避免。我意识到深度学习还是有很多不足的地方。因为算法依赖于大数据，但数据不是中立的，从真实社会中抽取的数据必然带有社会固有的不平等、排斥性和歧视。且了解到且现在深度学习的特点是准确性高、解释性低。要想同时保证准确性和解释性，有着这两种可能的方法：深度学习+图谱，数据+知识。虽然不知道这两种方法具体应该怎么做，但还是很期待能够进行一些相关的学习来解决这些问题。最后希望能够在这个第三次起的人工智能高速发展的阶段能够有一些自己的学习和了解。 |
问题汇总
| 姓名 | 问题 |
|---|---|
| 孟德森 | 误差的反向传播中的前馈和反馈过程不太懂 |
| 解正源 | 1. 为什么视频中说三层神经网络是主流，现在的ResNet等网络结构是否已经可以解决“不够深”的问题？ 2. 随机梯度下降的梯度中的随机是指对什么随机？是对采样随机吗？ |
| 高成思 | 梯度在训练模型中表示什么？为什么参数沿负梯度方向更新可以使函数值下降？是每训练一次，反向传播后，每一层的参数都会有变化吗？ |
| 谢雨成 | 1. 对于一些原理只知道了内容，但并不知道是怎么来的。比如：万有逼近定理。 2. 激活函数相当于对原数据空间进行了一次空间变换？为什么这样的空间变换能够保证得到的结果一定线性可分？感觉比较模糊，不大理解。 |
| 刘源 | 受限玻尔兹曼机和自编码器基本上都没听懂。 |
| 李相潭 | 上面基本涵盖了我的疑问 |