Wikidata Virtuoso SPARQL 端点 - 如何获得超过 100,000 个结果答案

【问题标题】：Wikidata Virtuoso SPARQL Endpoint - How to get more than 100,000 resultsWikidata Virtuoso SPARQL 端点 - 如何获得超过 100,000 个结果
【发布时间】：2021-03-31 06:58:55
【问题描述】：

我需要获取项目的 Wikidata 工件（实例类型、重定向和消歧）。

由于原始 Wikidata 端点在查询方面有时间限制，我遇到了Virtuoso Wikidata endpoint。

我遇到的问题是，如果我尝试使用此查询获取例如重定向，它最多只返回 100,000 个结果：

PREFIX owl: http://www.w3.org/2002/07/owl#
CONSTRUCT {?resource owl:sameAs ?resource2}
WHERE
{
?resource owl:sameAs ?resource2
}

我写信是想问你是否知道有什么方法可以得到超过 100,000 个结果。我希望能够获得尽可能多的结果。

一旦获得结果，我必须有 3 个 Ntriples 格式的文件（或尽可能少的文件）：wikidata_intance_types.nt、wikidata_redirecions.nt 和 wikidata_disambiguations.nt。

非常感谢您。

一切顺利，

何塞·曼努埃尔

【问题讨论】：

SPARQL 中的分页是通过 LIMIT 和 OFFSET 运算符完成的。而且，从技术上讲，您还必须修复三元组的顺序，即 ORDER BY 是必要的。比如order by 1 limit 100 offset 100 和order by 1 limit 100 offset 200 等等。请注意，您的数据集中 owl:sameAs 三元组的数量是 2,717,989，这意味着您必须运行 28 次查询才能获得所有三元组
请注意，在这两种情况下（Wikidata 本身和 OpenLink Software 提供的 Virtuoso 实例），您都在查询共享资源，并且应该有各种限制。您应该随着时间的推移将查询间隔开，并考虑比您遇到的 100,000 个限制更小的块 - 一次可能 50,000 个，等待每个查询完成检索结果，再加上一秒或十秒，然后再发出下一个查询.

标签： sparql wikidata virtuoso linked-data openlink-virtuoso

【解决方案1】：

请注意，在这两种情况下（Wikidata 本身，以及我的雇主OpenLink Software 提供的 Virtuoso 实例），您都在查询共享资源，并且应该有各种限制。

您应该将查询间隔一段时间，并考虑比您遇到的 100,000 个限制更小的块 - 一次可能 50,000 个，等待每个查询完成检索结果，再加上一秒或十个，然后再发出下一个查询。

this article 中关于使用 DBpedia 公共 SPARQL 端点的大部分指南都与任何公共 SPARQL 端点相关，尤其是那些由 Virtuoso 提供支持的端点。其他端点上的特定设置会有所不同，但如果您尝试友好——通过限制查询速率；当使用ORDER BY、LIMIT 和OFFSET 单步执行以获取超出实例最大结果集大小的查询的完整结果集时，限制部分结果集的大小；等等——你会更成功。

【讨论】：