如何用 R 分析维基百科文章数据库？答案

【问题标题】：How to analyse Wikipedia article's data base with R?如何用 R 分析维基百科文章数据库？
【发布时间】：2011-02-06 13:57:28
【问题描述】：

这是一个“大”的问题，我不知道如何开始，所以我希望你们中的一些人能给我一个方向。如果这不是一个“好”的问题，我会以道歉关闭线程。

我想通过维基百科的数据库（比如说英文的），做统计。例如，我对维基百科在每个时间点（假设在过去 2 年）有多少活跃编辑（应该定义）感兴趣。

我不知道如何建立这样的数据库，如何访问它，如何知道它有哪些类型的数据等等。所以我的问题是：

【问题讨论】：

【解决方案1】：

你可能想要的文件是：

# 2010-03-17 04:33:50 done Log events to all pages.
    * This contains the log of actions performed on pages.
    * pages-logging.xml.gz 1.0 GB

然后将 xml 导入 MySQL。每天、每周、每年等生成用户的直方图不需要 R。您将能够使用单个 MySQL 查询来做到这一点。比如：

select DAYOFYEAR(wiki_edit_timestamp), count(*)
from page_logs
group by DAYOFYEAR(wiki_edit_timestamp)
order by DAYOFYEAR(wiki_edit_timestamp);

等等

（我不确定他们的实际架构是什么，但应该是这样的。）

毫无疑问，您会遇到问题，但您也会学到很多东西。祝你好运！

【讨论】：

【解决方案2】：

你可以

使用wikipedia database dumps，如前所述
使用live mediawiki API，请参阅this minimal example at Rosettacode 或my unfinished approach with a S3 class 或this package by Peter Konings
与dbpedia 合作，努力将维基百科中的知识提取到知识库中。他们提供了一个我不太了解的online sparql access，还提供了n-triples 的数据集供下载。请参阅this python script，这可能是 R 脚本的起点。这种方法可能有助于访问存储在维基百科中的内容（例如信息框），但我不确定是否有关于维基百科贡献者的信息。

【讨论】：

【解决方案3】：

试试WikiXRay (Python/R) 和zotero。

【讨论】：