如何将大型 nt/rdf 转储加载到 Jena/PostgreSQL 模型（TDB/RDB？）

Question

我在我的项目中使用 DBpedia。 到目前为止，我一直在使用 SPARQL 客户端，但性能远不能接受（更不用说端点的频繁停机）。

所以我想在本地 dbms 中加载http://wiki.dbpedia.org/Downloads36 上可用的大 NT 文件（我有一个带有 PostgreSQL 的服务器）。

在我的应用程序（基于 Java 和 Groovy 构建）中，我打开一个与 Jena 持久图的连接：

def jenaConnection = new DBConnection( ... )
def maker = ModelFactory.createModelRDBMaker( jenaConnection )
def globalModel = maker.openModel( "my_big_fat_model" )

这对于几千个三元组是可以的，但是当我尝试使用阅读器加载大型 NT 文件时

RDFReader r = m.getReader( "N-TRIPLE")
r.read( inputStreamFromBigFile ... ) 

表现令人震惊。它每分钟加载大约 2-3K 三元组，这意味着整个 DBpedia 数据集（数百万个三元组）可能需要数天才能加载。其他使用 JENA 和大型数据集的人似乎没有这个问题。

我读到我应该将 TDB 用于大型数据集 (http://jena.apache.org/documentation/tdb/)，但我不明白我应该用它做什么。

它是与 RDB 接口类似的概念还是什么？我需要在 PostgreSQL 数据库中加载 NT 吗？

JENA 文档在这一点上似乎不是很清楚。

Answer 1

如果你想坚持使用 PostgresQL 作为后端，你应该使用SDB。与旧的 db 驱动程序相比，它是 Jena 模型的关系存储的更新包装器。还有quickstart documentation 与 SDB 合作。

TDB 是一种持久性存储，它提供了使用关系数据库作为后端三元存储的替代方案。 TDB 在磁盘上构建自己的 b 树索引，并为您管理缓存。在其他方面，它在程序员看来就像一个普通的 Jena Model。 TDB 具有帮助加载过程的命令行工具，尽管它们是 bash 脚本，它们需要 Linux 或 cygwin。加载dbpedia，这是我过去所做的：

$> tdbloader2 --loc ./tdb ./source/*.nt

./source 是我从 dpbedia 下载各种 .nt 文件的目录。在一台合理的机器上需要几个小时，但肯定不是几天。

在./tdb 中拥有 TDB 映像后，只需按照 documentation 将 Model 加载到您的 Java 程序中：

String directory = "./tdb" ;
Model model = TDBFactory.createModel(directory) ;
...
model.close() ;

从那里，只需使用 model，就像您通常使用任何 Jena 模型一样。有一个警告：TDB 不提供任何并发支持。如果您的应用需要对存储的并发访问（具体而言，任何写入与一次或多次读取同时进行），您将需要在应用级别处理锁定。