1.13 总结-深度学习第五课《序列模型》-Stanford吴恩达教授

总结

习题

第 141 题
假设你的训练样本是句子(单词序列)，下面哪个选项指的是第i个训练样本中的第j个词?

A.$x^{(i)}$x(i)

B.$x^{(j)}$x(j)

C.$x^{(j)}$x(j)

D.$x^{(i)}$x(i)

第 142 题
看一下下面的这个循环神经网络：

在下面的条件中，满足上图中的网络结构的参数是：

A. B.$T_xT_yT_x=1$Tx​Ty​Tx​=1

第 143 题
这些任务中的哪一个会使用多对一的RNN体系结构？

A.语音识别（输入语音，输出文本）

B.情感分类（输入一段文字，输出0或1表示正面或者负面的情绪）

C.图像分类（输入一张图片，输出对应的标签）

D.人声性别识别（输入语音，输出说话人的性别）

第 144 题
假设你现在正在训练下面这个RNN的语言模型：

在时，这个RNN在做什么？

A.计算$P(y^{<1>},y^{<2>},…,y^{})$P(y<1>,y<2>,…,y)

B.计算$P(y^{})$P(y)

C.计算$P(y^{}∣y^{<1>},y^{<2>},…,y^{})$P(y∣y<1>,y<2>,…,y)

D.计算$P(y^{}∣y^{<1>},y^{<2>},…,y^{})$P(y∣y<1>,y<2>,…,y)

第 145 题
你已经完成了一个语言模型RNN的训练，并用它来对句子进行随机取样，如下图：

在每个时间步tt都在做什么？

A.(1)使用RNN输出的概率，选择该时间步的最高概率单词作为$\hat{y}^{}$y^​，(2)然后将训练集中的正确的单词传递到下一个时间步

B.(1)使用由RNN输出的概率将该时间步的所选单词进行随机采样作为$\hat{y}^{}$y^​，(2)然后将训练集中的实际单词传递到下一个时间步

C.(1)使用由RNN输出的概率来选择该时间步的最高概率词作为$\hat{y}^{}$y^​，(2)然后将该选择的词传递给下一个时间步

D.(1)使用RNN该时间步输出的概率对单词随机抽样的结果作为$\hat{y}^{}$y^​，(2)然后将此选定单词传递给下一个时间步

第 146 题
你正在训练一个RNN网络，你发现你的权重与**值都是“NaN”，下列选项中，哪一个是导致这个问题的最有可能的原因？

A.梯度消失

B.梯度爆炸

C.ReLU函数作为**函数g(.)，在计算g(z)时，z的数值过大了

D.Sigmoid函数作为**函数g(.)，在计算g(z)时，z的数值过大了

第 147 题
假设你正在训练一个LSTM网络，你有一个10,000词的词汇表，并且使用一个**值维度为100的LSTM块，在每一个时间步中，的维度是多少？

A.1

B.100

C.300

D.10000

第 148 题
这里有一些GRU的更新方程：

爱丽丝建议通过移除 来简化GRU，即设置。贝蒂提出通过移除来简化GRU，即设置。哪种模型更容易在梯度不消失问题的情况下训练，即使在很长的输入序列上也可以进行训练？

A.爱丽丝的模型（即移除），因为对于一个时间步而言，如果，梯度可以通过时间步反向传播而不会衰减。

B.爱丽丝的模型（即移除），因为对于一个时间步而言，如果，梯度可以通过时间步反向传播而不会衰减。

C.贝蒂的模型（即移除），因为对于一个时间步而言，如果，梯度可以通过时间步反向传播而不会衰减。

D.贝蒂的模型（即移除），因为对于一个时间步而言，如果，梯度可以通过时间步反向传播而不会衰减。

第 149 题
这里有一些GRU和LSTM的方程：

从这些我们可以看到，在LSTM中的更新门和遗忘门在GRU中扮演类似___与___的角色，空白处应该填什么？

A.与
B.与
C.与
D.与
第 150 题
你有一只宠物狗，它的心情很大程度上取决于当前和过去几天的天气。你已经收集了过去365天的天气数据，这些数据是一个序列，你还收集了你的狗心情的数据，你想建立一个模型来从x到y进行映射，你应该使用单向RNN还是双向RNN来解决这个问题？

A.双向RNN，因为在日的情绪预测中可以考虑到更多的信息。

B.双向RNN，因为这允许反向传播计算中有更精确的梯度。

C.单向RNN，因为$y^{} 的 值 仅 依 赖 于 x^{<1>},…,x^{} ， 而 不 依 赖 于 x^{},…,x^{<365>}$y的值仅依赖于x<1>,…,x，而不依赖于x,…,x<365>

D.单向RNN，因为$y^{} 的 值 只 取 决 于 x^{}$y的值只取决于x，而不是其他天的天气。

141-150题 答案
141.A 142.A 143.BD 144.C 145.D 146.B 147.B 148.C 149.A 150.C