Graphdb 的 loadrdf 工具加载本体和数据非常慢答案

【问题标题】：Graphdb's loadrdf tool loads ontology and data very slowGraphdb 的 loadrdf 工具加载本体和数据非常慢
【发布时间】：2016-08-18 17:48:43
【问题描述】：

我正在使用 GraphDB loadrdf 工具来加载本体和相当大的数据。我将 pool.buffer.size=800000 和 jvm -Xmx 设置为 24g。我尝试了并行和串行模式。一旦回购总报表超过约 10k，它们都会放慢速度。它最终会减慢到 1 或 2 个语句/秒。有谁知道这是 loadrdf 的正常行为还是有办法优化性能？

编辑我增加了元组索引内存。查看我的 repo ttl 配置的一部分：

owlim:entity-index-size "45333" ; 
owlim:cache-memory "24g" ; 
owlim:tuple-index-memory "20g" ; 
owlim:enable-context-index "false" ; 
owlim:enablePredicateList "false" ; 
owlim:predicate-memory "0" ;  
owlim:fts-memory "0" ; 
owlim:ftsIndexPolicy "never" ; 
owlim:ftsLiteralsOnly "true" ; 
owlim:in-memory-literal-properties "false" ; 
owlim:transaction-mode "safe" ; 
owlim:transaction-isolation "true" ; 
owlim:disable-sameAs "true";

但不知何故，这个过程仍然变慢了。它以“全球平均速度：1,402 st/s”开头。但在“回购声明：61,831”之后放缓至“全球平均利率：20 st/s”。我给我的jvm：-Xms24g -Xmx36g

【问题讨论】：

标签： graphdb

【解决方案1】：

您能发布您的存储库配置吗？在其中，有一个参数 tuple-index-memory - 这将决定我们被允许保留在内存中的更改量（磁盘页）。这个值越大，我们要做的刷新次数就越少。

检查您的设置中是否将其设置为 20G 之类的值，然后重试该过程。

【讨论】：

嗨@nikolavp，非常感谢！下面请看 ttl repo 配置（我增加了 tuple-index-memory）。但不知何故，这个过程仍然放慢了速度。它以“全球平均速度：1,402 st/s”开头。但在“回购声明：61,831”之后放缓至“全球平均速度：20 st/s”。我给我的jvm：-Xms24g -Xmx36g。
部分我的 repo ttl：owlim:entity-index-size "45333" ; owlim:cache-memory "24g" ; owlim:tuple-index-memory "20g" ; owlim:enable-context-index "false" ; owlim:enablePredicateList "false" ; owlim:predicate-memory "0" ; owlim:fts-memory "0" ; owlim:ftsIndexPolicy "never" ; owlim:ftsLiteralsOnly "true" ; owlim:in-memory-literal-properties "false" ; owlim:transaction-mode "safe" ; owlim:transaction-isolation "true" ; owlim:disable-sameAs "true";
我从 Windows 任务管理器中注意到的一件事 - CPU 非常高，几乎 100% 忙。但是内存使用量低至约 11GB，尽管我将 jvm 设置为 36g 并将缓存内存设置为 24g。你能看出有什么阻碍了内存使用吗？
@cwen 下次可以请edit your question 添加这些详细信息，而不是评论答案吗？格式化的文本在 cmets 中很难阅读，此外，评论系统并不是真正用于持续讨论的。这次我已经为你完成了，所以你看看它是如何完成的。

【解决方案2】：

我查看了您的存储库配置 ttl。有这个参数：entity-index-size=45333，其值需要增加，例如将其设置为 1 亿（实体索引大小 = 100000000）。 GraphDB 7 中该参数的默认值为 10M，但由于您已明确设置它，它会被覆盖。

您可以阅读有关该参数的更多信息here

【讨论】：

嗨@Venelin，非常感谢。我已经尝试过 - 更改了参数 owlim:entity-index-size "100000000"。串行和并行模式仍然非常慢。在“回购声明：87,931”之后，它下降到“全球平均利率：15 st/s”。内存使用量保持在 12~13GB 左右，这很奇怪。我可以调整任何其他参数吗？