【问题标题】:Wikidata import into virtuoso维基数据导入大师
【发布时间】:2019-06-26 08:28:47
【问题描述】:

我想将 wikidata 加载到 virtuoso 中。经过几天的搜索,我找不到任何教程,或者至少找不到使用 virtuoso 来 sparql 查询 wikidata 的人。我不想在服务器上花钱来加载 50G+ 的数据。 例如,为什么 virtuoso 而不是 blazegraph?因为我习惯在 DBpedia 上使用 virtuoso。

【问题讨论】:

标签: sparql wikidata virtuoso openlink-virtuoso


【解决方案1】:

【讨论】:

  • 最小内存占用是多少?示例指令有 386GB,有点僵硬。
【解决方案2】:

正如这里和其他地方所指出的,将 Wikidata 加载到 Virtuoso 应该只是从下载中创建海龟文件(最好有多个海龟文件)并批量加载它。为了获得良好的性能,需要使用一些参数必须在 virtuoso.ini 中更改。

然而,将 Wikidata 加载到 Virtuoso 时出现问题,这是由于 Virtuoso 中存在与地理坐标实现有关的长期错误。要解决这个问题,需要修补 Virtuoso,并且不适合胆小的人。

以下是有关如何让 Virtuoso 的开源版本加载 Wikidata 的说明。请注意,地理坐标代码的修补可能会导致使用生成的 KB 出现问题。

1/ 修补地理坐标文字代码,编辑 virtuoso-opensource/libsrc/Wi/rdfbox.c 以注释掉两段检查非地球坐标的代码。请注意,这是 Virtuoso 中的一个错误,并且 Wikidata 符合此数据类型的规范。

/*非陆地坐标 if (RDF_BOX_GEO_TYPE == type && DV_GEO != box_dtp && DV_LONG_INT != box_dtp) sqlr_new_error ("42000", "RDFGE", "具有几何 RDF 类型和非几何内容的 RDF 框"); */

/*非陆地坐标 if (type == RDF_BOX_GEO && box_dtp != DV_GEO) sqlr_new_error("22023", "SR559", "几何类型的RDF框需要空间对象作为值,而不是%s (%d)类型的值", dv_type_title (box_dtp), box_dtp); */

2/ 给 Turtle 加载器打补丁,编辑 virtuoso-opensource/libsrc/Wi/ttlpv.sql 中 rdf_rl_lang_id 的结尾,如下所示。请注意,这是 Virtuoso 中的另一个 错误,它是由并行加载不同语言的语言字符串触发的。

id:= sequence_next ('RDF_LANGUAGE_TWOBYTE', 1, 1); --pfps 插入 rdf_language (rl_twobyte, rl_id) 值 (id, ln); 插入软 rdf_language (rl_twobyte, rl_id) 值 (id, ln); 提交工作; -- 如果加载非事务性,这仍然是一个尖锐的事务边界。 log_enable (old_mode, 1); --pfps 获取实际的 id,因为它可能不同 id :=(从 DB.DBA.RDF_LANGUAGE 中选择 RL_TWOBYTE,其中 RL_ID = ln); rdf_cache_id ('l', ln, id); 返回id;

【讨论】:

  • 能否请您更具体地说明它是如何工作的?
  • 请注意,如果您将 Wikidata 转储拆分为多个(理想情况下为数百个)片段,加载 Wikidata 到 Virtuoso 的速度会大大提高。这也不是小事。
  • 另外,如果您正在加载完整的转储(超过 100 亿个三元组),您需要一台至少具有 256GB 主内存(甚至可能至少 512GB)的机器和一个 SSD 来存储数据库。内存较少的机器将在加载的中途开始颠簸,此后进度将非常缓慢。
  • wiki.bitplan.com/index.php/… 显示当前尝试使用不同的 SPARQL 存储。之后我将再次测试 blazegraph 和 virtuoso。官方的 blazegraph 导入也拆分了三元组。尽管如此,我仍然希望能获得一份详细的流程文档,以包含在上面提到的 wiki 中。
猜你喜欢
  • 2012-05-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-04-18
  • 1970-01-01
  • 2012-10-05
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多