【发布时间】:2020-11-16 14:14:47
【问题描述】:
我想知道是否有前几年(2010-2019)的英文维基百科(enwiki)页面文章转储。
https://meta.wikimedia.org/wiki/Data_dump_torrents 的数据转储种子在 2017 年之前似乎没有转储。
【问题讨论】:
标签: mediawiki wikipedia wikipedia-api wikimedia-dumps
我想知道是否有前几年(2010-2019)的英文维基百科(enwiki)页面文章转储。
https://meta.wikimedia.org/wiki/Data_dump_torrents 的数据转储种子在 2017 年之前似乎没有转储。
【问题讨论】:
标签: mediawiki wikipedia wikipedia-api wikimedia-dumps
互联网档案馆有一些old dumps,转储页面有一些really old dumps的信息。
【讨论】:
实际上,您不需要它们!如果您需要页面的历史记录,只需下载名称中带有history 的转储即可。自维基百科诞生以来,它们都有所有修订版。您必须解析 wikitext 以获取元数据 - 另一方面,对于任何研究或实际用途,此类数据可能比旧转储更可靠。
您究竟需要下载哪个转储取决于您的用例。您是否只需要修订元数据,并查看哪些用户何时贡献? stub-meta-history.xml 是你要走的路。你想拥有页面内容并解析所有内容吗? pages-meta-history 将是您的选择。但是,如果您想使用 enwiki 解析这些转储,它确实很大,大约 14 TiB 在 2016 年 5 月,根据 https://meta.wikimedia.org/wiki/Data_dumps/FAQ#How_big_are_the_en_wikipedia_dumps_uncompressed?,因为它包含所有 Wikipedia,包括历史。
【讨论】: