【问题标题】:Where can we get Wikipedia dumps for each year from 2010?从 2010 年起,我们在哪里可以获得每年的 Wikipedia 转储?
【发布时间】:2020-11-16 14:14:47
【问题描述】:

我想知道是否有前几年(2010-2019)的英文维基百科(enwiki)页面文章转储。

https://meta.wikimedia.org/wiki/Data_dump_torrents 的数据转储种子在 2017 年之前似乎没有转储。

【问题讨论】:

    标签: mediawiki wikipedia wikipedia-api wikimedia-dumps


    【解决方案1】:

    互联网档案馆有一些old dumps,转储页面有一些really old dumps的信息。

    【讨论】:

    • 谢谢!这很有帮助。
    【解决方案2】:

    实际上,您不需要它们!如果您需要页面的历史记录,只需下载名称中带有history 的转储即可。自维基百科诞生以来,它们都有所有修订版。您必须解析 wikitext 以获取元数据 - 另一方面,对于任何研究或实际用途,此类数据可能比旧转储更可靠。

    您究竟需要下载哪个转储取决于您的用例。您是否只需要修订元数据,并查看哪些用户何时贡献? stub-meta-history.xml 是你要走的路。你想拥有页面内容并解析所有内容吗? pages-meta-history 将是您的选择。但是,如果您想使用 enwiki 解析这些转储,它确实很大,大约 14 TiB 在 2016 年 5 月,根据 https://meta.wikimedia.org/wiki/Data_dumps/FAQ#How_big_are_the_en_wikipedia_dumps_uncompressed?,因为它包含所有 Wikipedia,包括历史。

    【讨论】:

    • 有趣的想法!你的意思是dumps.wikimedia.org/enwiki/20200801/…
    • 63GB,哎呀......但显然是要走的路。
    • 根据您的用例,stub-meta-history 只有修订元数据。页面内容将在 pages-meta-history 中。最新生成的转储位于dumps.wikimedia.org/enwiki/20200701,pages-meta-history(请注意,它非常大),8 月份的转储仍在进行中。我会更新我的答案。
    • 已添加到我的答案中,希望对您有所帮助:)。
    猜你喜欢
    • 1970-01-01
    • 2011-01-22
    • 1970-01-01
    • 1970-01-01
    • 2011-02-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多