【问题标题】:Can triple stores be made scalable三重商店可以扩展吗
【发布时间】:2011-03-19 14:13:00
【问题描述】:

据说我读到的大多数三元组商店都可以扩展到大约 5 亿个三元组。

我很想知道人们是否认为他们必须有一个上限有理论上的原因,以及您是否知道使它们更具可扩展性的任何特定方法。

我很想知道现有的三合店是否会做这样的事情:

  • 用整数表示 URI
  • 按顺序排列的整数
  • 搜索整数而不是 URI,我认为它必须更快(因为您可以执行二进制搜索等操作)

    想法...

  • 【问题讨论】:

      标签: database performance triplestore


      【解决方案1】:

      为了达到 5 亿,一家三合店必须做到所有这些,甚至更多。我花了几年时间研究三重存储实现,我可以告诉你,突破 10 亿个三重存储并不像看起来那么简单。

      问题在于许多 rdf 查询是 2 阶或 3 阶(高阶远未闻所未闻)。这意味着您不仅要查询一组实体,还要查询有关这组实体的数据;关于实体模式的数据;描述用于描述实体架构的架构语言的数据。

      所有这些都没有关系数据库可用的任何约束,以允许它对此数据/元数据/元元数据/等的形状做出假设。

      有一些方法可以超过 5 亿,但它们远非微不足道,而且为了达到我们现在的水平,还需要一些唾手可得的果实(即您提到的方法)。

      话虽如此,rdf-store 提供的灵活性,加上通过其在描述逻辑中的解释可用的指称语义,使得这一切都值得。

      【讨论】:

      • 嗨 Recurse,我不得不承认我不太明白为什么我建议的方法可能对 5 亿有用,但它会很难突破 10 亿三倍。依我看,5 亿需要 29 次查找,10 亿需要 30 次查找?难道我都搞错了吗?请注意,我不期望得到完整的答案,这显然不是一个微不足道的问题,但如果您知道任何研究论文等处理它并可以指出他们的方向,我将不胜感激。
      • 那是因为你在考虑查找;查找在可扩展性限制下与存储的性能在很大程度上无关。杀死您的是寻找磁盘,当您在遍历索引时开始经常看到缓存未命中时,这变得至关重要。从 29 个索引级别移动到 30 个索引级别似乎微不足道,直到您认为它可以从 1-2 或 2-3 搜索移动。将此与 RDF 查询中常见的深度连接相结合,虽然并非不可克服,但继续扩展却绝非易事。
      猜你喜欢
      • 2012-06-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-09-10
      • 1970-01-01
      相关资源
      最近更新 更多