从维基百科文章中提取数据

Question

我正在尝试从维基百科文章中提取一个有组织的类别列表及其子类别。 文章为：http://en.wikipedia.org/wiki/Outline_of_academic_disciplines 它不必动态编码到我的网站中。我也愿意借助电子表格（importxml、importhtml 等语句）手动提取数据。 但是，对于上述文章，我仍然没有找到一种优雅的方法（电子表格提取或通过 API）。 （通过查看源代码，您可以看到importhtml 以表作为查询输入单个单元格中的所有列表项，importhtml 以列表作为查询不区分列表（即：无法知道哪个列表是哪些类别的子列表））。 有人可以提供一些建议吗？

Answer 1

在 Wikipedia 中，“类别”是一个特定术语：要通过 API 获取该文章的类别，查询如下：

http://en.wikipedia.org/w/api.php?format=xml&action=query&prop=categories&titles=Outline%20of%20academic%20disciplines

但是，据我所知，您需要该表中列出的 Wikipedia 文章的所有 URL。

有几种方法可以做到这一点： 最简单的方法是从文章 (here) 中获取 wikicode，将其粘贴到一个好的编辑器中（我推荐 Sublime），然后您可以使用 Search & Replace 刮掉“[[””和“]]” ，并在每篇文章的前面添加 URL

http://en.wikipedia.org/wiki/

这样，您可以获得该页面中提到的文章的完整 URL 列表。 希望这是您所寻求的（您提到了一些代码，但我看不到任何代码）。