我想获取所有维基百科文章的所有标题的列表。我知道有两种可能的方法可以从 Wikimedia 支持的 wiki 获取内容。一种是 API，另一种是数据库转储。
我不想下载 wiki 转储。首先，它很大，其次，我对查询数据库并没有真正的经验。另一方面，API 的问题是我想不出一种方法来只检索文章标题列表，即使它需要 > 4 个 mio 请求，这可能会让我无法收到任何进一步的请求。
所以我的问题是
【问题讨论】：
标签： mediawiki wikipedia wikipedia-api mediawiki-api
这是一个异步程序，它将生成 mediawiki 页面标题：
async def wikimedia_titles(http, wiki="https://en.wikipedia.org/"):
log.debug('Started generating asynchronously wiki titles at {}', wiki)
# XXX: https://www.mediawiki.org/wiki/API:Allpages#Python
url = "{}/w/api.php".format(wiki)
params = {
"action": "query",
"format": "json",
"list": "allpages",
"apfilterredir": "nonredirects",
"apfrom": "",
}
while True:
content = await get(http, url, params=params)
if content is None:
continue
content = json.loads(content)
for page in content["query"]["allpages"]:
yield page["title"]
try:
apcontinue = content['continue']['apcontinue']
except KeyError:
return
else:
params["apfrom"] = apcontinue
【讨论】：
目前，根据current statistics，文章数量约为 580 万。 要获取页面列表，我确实使用了AllPages API。但是，我得到的页面数量约为 1450 万，是我预期的 3 倍左右。我将自己限制在namespace 0 以获取列表。以下是我正在使用的示例代码：
# get the list of all wikipedia pages (articles) -- English
import sys
from simplemediawiki import MediaWiki
listOfPagesFile = open("wikiListOfArticles_nonredirects.txt", "w")
wiki = MediaWiki('https://en.wikipedia.org/w/api.php')
continueParam = ''
requestObj = {}
requestObj['action'] = 'query'
requestObj['list'] = 'allpages'
requestObj['aplimit'] = 'max'
requestObj['apnamespace'] = '0'
pagelist = wiki.call(requestObj)
pagesInQuery = pagelist['query']['allpages']
for eachPage in pagesInQuery:
pageId = eachPage['pageid']
title = eachPage['title'].encode('utf-8')
writestr = str(pageId) + "; " + title + "\n"
listOfPagesFile.write(writestr)
numQueries = 1
while len(pagelist['query']['allpages']) > 0:
requestObj['apcontinue'] = pagelist["continue"]["apcontinue"]
pagelist = wiki.call(requestObj)
pagesInQuery = pagelist['query']['allpages']
for eachPage in pagesInQuery:
pageId = eachPage['pageid']
title = eachPage['title'].encode('utf-8')
writestr = str(pageId) + "; " + title + "\n"
listOfPagesFile.write(writestr)
# print writestr
numQueries += 1
if numQueries % 100 == 0:
print "Done with queries -- ", numQueries
print numQueries
listOfPagesFile.close()
触发的查询数约为 28900，结果大约为 28900。 1450 万个页面名称。
我还尝试了上述答案中提到的all-titles 链接。在这种情况下，我也会获得大约 1450 万页。
我认为这个对实际页面数的高估是因为重定向，并且确实在请求对象中添加了“nonredirects”选项：
requestObj['apfilterredir'] = 'nonredirects'
这样做之后，我只得到 112340 页数。与 5.8M 相比太小了。
使用上面的代码，我预计大约有 580 万页，但事实似乎并非如此。
我应该尝试获取实际的 (~5.8M) 页面名称集吗？
【讨论】：
pip install pip install git+https://github.com/iliana/python-simplemediawiki.git
The allpages API module 允许您这样做。它的限制（当你设置aplimit=max时）是500，所以要查询所有450万篇文章，你需要大约9000个请求。
但转储是更好的选择，因为有许多不同的转储，包括 all-titles-in-ns0，顾名思义，它包含您想要的内容（59 MB 的压缩文本）。
【讨论】：