【问题标题】:Get the category of wikipedia article in python在python中获取维基百科文章的类别
【发布时间】:2018-01-21 10:26:08
【问题描述】:

我正在使用下面提到的代码来检查维基百科页面的存在。

term = "forensics"
a = urllib.request.urlopen("https://en.wikipedia.org/wiki/"+term).getcode()
print(a) 

如果页面存在(即a == 200),我想获取页面的类别(即,如果类别是计算机科学、工程等)。我们可以在 wikipedia api 中做到这一点吗?

【问题讨论】:

  • Google 搜索显示了多个处理此问题的 Python 包。
  • 如果有多个类别怎么办?
  • 检查pypi.python.org/pypi/Wikipedia-API,特别是“如何获取页面类别”部分。
  • @Alex 我查过了。但他们似乎不支持 conda :(
  • @Cyzanfar 非常感谢。我试过维基百科 api。但它不支持 conda。

标签: python wikipedia wikipedia-api


【解决方案1】:

使用pywikibot可以获取页面forensics的分类:

>>> import pywikibot as pw
>>> pw.Page(pw.Site('en'), 'forensics')
Page(Forensics)
>>> pw.Page(pw.Site('en'), 'forensics').exists()
True
>>> pw.Page(pw.Site('en'), 'forensics').categories()
<pywikibot.data.api.PageGenerator object at 0x7fea9d44ca90>
>>> list(pw.Page(pw.Site('en'), 'forensics').categories())
[Category(Category:Printworthy redirects), Category(Category:Redirects from short names), Category(Category:Redirects mentioned in hatnotes), Category(Category:Redirects with history)]
>>> [i.title() for i in list(pw.Page(pw.Site('en'), 'forensics').categories())]
[u'Category:Printworthy redirects', u'Category:Redirects from short names', u'Category:Redirects mentioned in hatnotes', u'Category:Redirects with history']

但我认为这不是您要寻找的。 forensics 是 redirect page。您需要获取目标页面名称,并获取此新页面的类别。

>>> pw.Page(pw.Site('en'), 'forensics').isRedirectPage()
True
>>> pw.Page(pw.Site('en'), 'forensics').getRedirectTarget()
Page(Forensic science)

另一种解决方案是解析讨论页,例如从Talk:Forensic_science 获取Law Enforcement 字符串和{{WikiProject ...}} 中的其他字符串。使用page.toggleTalkPage() 获取与讨论页对应的新 Page 对象。但与类别不同,解析讨论页文本以获取项目名称不是官方方式/我可以建议您,尽管它可能会帮助您将其分类为更一般的类别。

【讨论】:

  • 非常感谢您的出色回答:) 但是,我不确定为什么它返回的类别不是很清楚。我期待清除诸如science,engineering, computer science 等类别。您能否建议一种获得此类清晰类别的方法? :)
  • 首先,“取证”是指向“取证科学”的重定向,这就是为什么此页面的所有类别都讨论重定向的原因。
  • ... 您可以使用isRedirectPage()/getRedirectTarget() 获取“真实”页面进行分析。现在您将能够获得更多有趣的类别。其次,你可以解析讨论页“Talk:Forensic_science”(使用.toggleTalkPage())得到{{WikiProject XXX,如果你想要一个更一般的分类,但是分类在所有文章中都是可靠的,它们是可以在任何地方使用的,而第二个解决方案就像一个 hack。
  • 非常感谢。如果我有任何问题,我会尝试让你知道:)
  • 如果您有时间,请用您上面提到的想法更新您的答案。我不明白如何做这部分。 Second, you can parse the talk page "Talk:Forensic_science" (use .toggleTalkPage()) to get {{WikiProject XXX if you want a more general classification。期待您的来信。
【解决方案2】:

使用Wikipedia-API,您的代码可能如下所示:

import wikipediaapi
wiki = wikipediaapi.Wikipedia('en')
page = wiki.page('forensics')
print(page.categories)

希望对您有所帮助。

编辑:我已经修复了链接。最后还有额外的]。现在它指向https://pypi.org/project/Wikipedia-API/

【讨论】:

  • ModuleNotFoundError: No module named 'wikipediaapi' pip install wikipediaapi Error: 找不到匹配的 wikipediaapi 发行版
  • 我已经修复了链接。有额外的]。它应该安装为pip install wikipedia-api
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2017-08-06
  • 2011-02-03
  • 2010-12-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多