【发布时间】：2021-08-07 00:25:34
【问题描述】：
据我了解，skip-gram 模型的输出必须与许多训练标签进行比较（取决于窗口大小）
我的问题是：skip-gram 模型的最终输出看起来像这张图片中的描述吗？
附言。我能找到的最相似的问题：[1]What does the multiple outputs in skip-gram mean?
【问题讨论】：
标签： python tensorflow nlp nltk gensim
【发布时间】：2021-08-07 00:25:34
【问题描述】：
很难回答在退化/玩具/人造情况下“应该”发生什么，特别是考虑到实际初始化/训练中使用了多少随机性。
模型的内部权重和“投影层”（又名“输入向量”或只是“词向量”）都会通过反向传播进行更改。因此，如果不考虑投影权重的初始化和更新，就无法回答内部权重应该是什么。并且只有两个训练示例没有任何意义，而不是“比模型状态近似的示例要多得多”。
如果您认为自己构建了一个在运行时提供信息的小案例，我建议您根据实际实现尝试一下，看看会发生什么。
但请注意：微小的模型和训练集可能会很奇怪，或者允许出现多个/过度拟合/特殊的最终状态，而这些最终状态并不能揭示算法在以预期方式使用时的行为方式 - on大量不同的训练数据。
【讨论】：