【问题标题】:Averaging Multiple Models Word2vec Gensim平均多个模型 Word2vec Gensim
【发布时间】:2015-06-04 03:54:42
【问题描述】:

我已经用 Python 的 Word2VecGensim 训练了几百万个单词。我想用新数据更新这个训练有素的模型。 但是从您以前的帖子和网络上的其他资源中,我知道这是不可能的。 所以我正在尝试创建多个模型并转储它们。现在我想合并我正在倾销的模型。我想使用这些转储的结果。我收到了以前的帖子Merging pretrained models in Word2Vec? 但我不知道该怎么做。我知道有一个名为 deepdist 的库,我正在尝试查看一些实验:

model = word2vec.Word2Vec.load_word2vec_format('/tmp/vectors.bin', binary=True)
  1. 有可能的解决方案吗?
  2. 如果有的话,有人可以建议怎么做吗?

我在 Windows 7 Professional 上使用 Python2.7。

【问题讨论】:

    标签: python python-2.7 gensim word2vec


    【解决方案1】:

    您指出的答案并不建议将模型合并为解决方案。实际上,他们建议您使用单独拥有的不同模型。对每个模型进行预测,然后组合答案。有几种方法可以组合输出。在您的情况下,您提到您有多个模型,因此您可以忽略答案中他们建议将您的训练数据分成 2 的部分,以便实际有 3 个模型进行预测。只要您有 2 个以上的预测,您就可以使用多数投票策略。

    【讨论】:

    • 他说“把你的数据集分成两个大小相等的数据集,然后训练它们”我也可以这样想,用我的 newdata 和 olddata,如果我说 newdata=data_of_size1 和 olddata =data_of_size2,其中 size1=size2。如果我合并我的新数据模型和旧数据模型,我的问题就解决了。如果我说错了吗?但是怎么做呢?
    • 模型通常使用无法直接合并的聚合数据。无论数据大小如何,模型是否可以独立工作,只需单独使用它们并合并预测即可。
    猜你喜欢
    • 2014-04-02
    • 2019-05-26
    • 1970-01-01
    • 1970-01-01
    • 2019-01-03
    • 1970-01-01
    • 1970-01-01
    • 2018-04-20
    • 2017-07-16
    相关资源
    最近更新 更多