【问题标题】:How to find old wikipedia dumps如何找到旧的维基百科转储
【发布时间】:2015-05-18 21:22:38
【问题描述】:

我需要访问法语非常古老的维基百科转储(维基百科的备份)。我成功地从archive.org 找到了2010 年的备份,现在我正在搜索2006 年甚至更早的版本。 我知道在最新的转储中包含以前的所有数据,但我需要在我的计算机中设置一个 Wikipedia 版本,例如 2006、2010、2012 中的版本。一件事情——我猜——用最新的转储是不可能的。

非常感谢您的帮助。

【问题讨论】:

  • 如果您要查找特定文章,请查看文章的修订历史记录(右上角的“查看历史记录”选项卡)。它可以让您在特定时间点查看文章。

标签: wikipedia wikimedia-dumps


【解决方案1】:

维基媒体基金会提供对一些旧转储on their website 的访问。请注意,其中一些使用与当前 Wikipedia 不同的架构,因此您在使用它们时可能需要修改您的工具。

更多档案也可以在Archive.org上找到。

【讨论】:

  • 不幸的是,维基媒体已停止持续存储历史转储。
  • archive.org 似乎有很多以前的转储,虽然不是全部。
【解决方案2】:

似乎有 2006 年 11 月的静态 HTML 转储,可在此处获得:http://dumps.wikimedia.org/other/static_html_dumps/

此外,如果您获得完整的转储(带有编辑历史记录),您可以过滤它以删除某个日期之后的所有修订 - 然后您应该能够在该日期查看它(除了后来删除的材料,所以不在转储中)。

【讨论】:

  • Ecelent 谢谢!你能用几句话告诉我如何删除给定日期的所有修订吗?
  • 不完全是——您需要查看表的结构(可能是修订表)并找出合适的 SQL。请务必发布您开发的内容,以便其他人受益。 (另外,赞成票会很好。;-))
  • 实际上我想在维基百科静态转储上创建一个搜索引擎...那么这个转储帮助是否完整??
  • 是的,转储确实是您想要用作搜索引擎数据的内容。您可能也不需要完整的版本历史记录,具体取决于您要执行的操作。
【解决方案3】:

不幸的是,维基媒体并未保留所有历史转储(除了其他人指出的少数例外情况)。

鉴于您的用例,我强烈建议使用 JWPL Wikipedia Revision Toolkit: https://dkpro.github.io/dkpro-jwpl/WikipediaRevisionToolkit/

具体来说,您可能会喜欢“时间机器”包,它允许您重建维基百科在过去某个日期的状态。 https://dkpro.github.io/dkpro-jwpl/TimeMachine/

虽然我没有专门使用该功能,但我在将修订工具包用于其他目的方面取得了巨大成功。 JWPL 包还包含其他非常有用的工具。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-01
    • 2013-05-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多