这是在我的使用 dbpedia 和 SPARQL 的 Rails 应用程序中实现搜索功能的好方法吗？有一个更好的方法吗？

Question

我正在尝试使用 Ruby on Rails 3 组合一个“电影搜索”应用程序。我正在使用 SPARQL（RDF 和 sparql/客户端）从 dbpedia 中提取数据。我希望潜在用户能够搜索电影，查看结果，然后单击以查看我在该电影上生成的包含更多信息（来自 dbpedia 和我自己的本地数据库）的页面。

这是我第一次使用庞大的数据集和 SPARQL，我注意到它非常慢，我想这无济于事。不过，我仍然非常希望将其用作数据源。

我的 rails 应用程序设置为使用 MongoDB，所以我想我可以利用它来缓存一些 DBPedia 数据，这样用户就不需要每次都等待查询。但是，我坚持实施此类事情的最佳方式。我目前的想法是这样的：

在第一次搜索时，我将每个结果的详细信息存储在本地数据库中（可能是基本的电影信息，例如标题、概述、年份、备用标题）

当用户进行搜索时，会发生以下情况：

1. 在我的本地数据库上运行搜索查询以获取相关的存储电影（很可能仅搜索标题和概述）。如果电影在过去 X 天内没有从 dbpedia 更新，我不包含它。
2. 快速向用户显示这些相关的本地结果并列出这些电影。
3. 当用户查看存储的结果时，会查询 dbpedia。根据这个查询结果，我创建了一个来自 DBpedia 的相关结果列表。
4. 我从 dbpedia 查询结果集中删除了已在初始本地结果集中的所有电影，以防止用户看到重复的结果。
5. 我在本地结果下方显示剩余的 dbpedia 查询结果，并将每个新的非存储结果保存在我的本地数据库中（包括 last_updated 时间，并根据需要更新任何现有的本地项目）。
6. 当用户点击进入电影页面时，来自 dbpedia 的基本信息和我存储的额外信息已经存储在本地，可以快速拉到页面上，但更高级的信息（导演、语言、位置、相关站点的链接）在加载时从 dbpedia 查询。在检索新信息时，我会在不同部分显示加载对话框等。

我正在考虑做类似上述的事情，以便用户可以快速看到一些结果，而剩余的结果从 dbpedia 加载，我正在存储一些东西，但不是一个疯狂的数量。

但我想就这是否现实以及是否是个好主意获得一些帮助。我可以想象，首先搜索我的本地数据库可能会使用户的初始结果偏向于以前搜索过的内容，并且如果他们特别想要的电影（例如，如果他们输入标题）在它可能进一步显示之前没有被搜索过在列表中。仅在本地存储相关数据集（即所有电影）的副本并根据需要进行更新是否更有意义？那也太过分了吧？

无论如何，我真的很感激一些建议，这些建议可以让用户尽可能地无缝衔接，同时仍然保持理智的界限。提前致谢！

编辑：这是我目前正在使用的测试搜索查询的代码。我以为我正在使它成为超级超级基础的测试......但它超时了很多。

query = "
    PREFIX owl: <http://www.w3.org/2002/07/owl#>
    PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>
    PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
    PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
    PREFIX foaf: <http://xmlns.com/foaf/0.1/>
    PREFIX dc: <http://purl.org/dc/elements/1.1/>
    PREFIX : <http://dbpedia.org/resource/>
    PREFIX dbpedia2: <http://dbpedia.org/property/>
    PREFIX dbpedia: <http://dbpedia.org/>
    PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
    PREFIX dbo: <http://dbpedia.org/ontology/>

    SELECT ?subject ?label ?abstract ?runtime ?date ?name WHERE {
    {?subject rdf:type <http://dbpedia.org/ontology/Film>}
    UNION
    {?subject rdf:type <http://dbpedia.org/ontology/TelevisionShow>}.
    OPTIONAL {?subject dbo:runtime ?runtime}.
    OPTIONAL {?subject dbo:releaseDate ?date}.
    OPTIONAL {?subject foaf:name ?name}.
    ?subject rdfs:comment ?abstract.
    ?subject rdfs:label ?label.
    FILTER((lang(?abstract) = 'en') && (lang(?label) = 'en') && REGEX(?label, '" + str + "')).

    }
    LIMIT 30
"
 result = {}
 client = SPARQL::Client.new("http://dbpedia.org/sparql")
 result = client.query(query).each_binding  { |name, value| puts value.inspect }
 return result

Answer 1

您用来查询 dbpeid 的 SPARQL 查询是什么？应该可以对其进行优化以提高性能。您还应该能够使用类别 URI 进行过滤。此外，您应该能够使用 OFFSET 和 LIMIT 预测来减少结果数量。如果您正在使用全文搜索，那么您也可以考虑使用 Virtuoso 特定的 'bif:contains' 属性，因为它比正则表达式过滤器要快一些，尽管它具有非标准/Virtuoso 特定的缺点。此外，您还可以使用 HTTP 缓存来改进后续搜索结果（毫不奇怪，SPARQL 协议通过 HTTP 运行）。

除此之外，您可以尝试简单地使用自己的三重存储并每天晚上从 dbpedia 加载电影，而不是将内容放入 mongo db。

根据提供的查询编辑

通过反复试验，以下模式会导致大问题：

    ?subject rdfs:comment ?abstract.
    ?subject rdfs:label ?label.
    FILTER((lang(?abstract) = 'en') && (lang(?label) = 'en') && REGEX(?label, '" + str + "')).

过滤器可能很慢，但即使没有过滤器，查询也会超时。我会更关心 OPTIONAL 子句（OPTIONAL 可能很慢）。试一试。您可能需要对摘要和标签运行单独的查询。