neo4j 性能低下

Question

我是一家提供约会服务的公司的服务器工程师。 目前我正在为我们的新推荐引擎构建一个 PoC。 我尝试使用neo4j。但是这个数据库的性能并不能满足我们的需要。 我有强烈的感觉，我做错了什么，neo4j 可以做得更好。 那么有人可以给我一个建议如何提高我的 Cypher 查询的性能或如何以正确的方式调整 neo4j？ 我正在使用在带有 Amazon Linux 的 c4.4xlarge 实例上运行的 neo4j-enterprise-2.3.1。 在我们的数据集中，每个用户可以与其他用户有 4 种类型的关系 - LIKE、DISLIKE、BLOCK 和 MATCH。 他还有一个属性，比如国家代码、生日和性别。

我使用 neo4j-import 工具将我们所有的用户和关系从 RDBMS 导入到 neo4j。 所以每个用户都是一个有属性的节点，每个引用都是一个关系。

neo4j-import 工具的报告说：

2 558 667 个节点，

1 674 714 539属性和

1 664 532 288 关系

已导入。

所以这是一个巨大的数据库 :-) 在我们的例子中，一些节点可以有多达 30 000 个传出关系..

我在 neo4j 中做了 3 个索引：

Indexes
ON :User(userId)           ONLINE  
ON :User(countryCode)      ONLINE  
ON :User(birthday)         ONLINE  

然后我尝试使用此查询构建在线推荐引擎：

MATCH (me:User {userId: {source_user_id} })-[:LIKE | :MATCH]->()<-[:LIKE |  :MATCH]-(similar:User)
USING INDEX me:User(userId)
USING INDEX similar:User(birthday)
WHERE similar.birthday >= {target_age_gte} AND
      similar.birthday <= {target_age_lte} AND
      similar.countryCode = {target_country_code} AND
      similar.gender = {source_gender}
WITH similar, count(*) as weight ORDER BY weight DESC 
SKIP {skip_similar_person} LIMIT {limit_similar_person}
MATCH (similar)-[:LIKE | :MATCH]-(recommendation:User)
WITH recommendation, count(*) as sheWeight
WHERE recommendation.birthday >= {recommendation_age_gte} AND
      recommendation.birthday <= {recommendation_age_lte} AND
      recommendation.gender= {target_gender}
WITH recommendation, sheWeight ORDER BY sheWeight DESC 
SKIP {skip_person} LIMIT {limit_person}
MATCH (me:User {userId: {source_user_id} })
WHERE NOT ((me)--(recommendation))
RETURN recommendation

这是其中一位用户的执行计划： plan

当我对用户列表执行此查询时，我得到了结果：

count=2391, min=4565.128849, max=36257.170065, mean=13556.750555555178, stddev=2250.149335254768, median=13405.409811, p75=15361.353029999998, p95=17385.136478, p98=18040.900481, p99=18426.811424, p999=19506.149138, mean_rate=0.9957385490980866, m1=1.2148195797996817, m5=1.1418078036067119, m15=0.9928564378521962, rate_unit=events/second, duration_unit=milliseconds

因此，对于实时推荐来说，即使是最快的速度也太慢了..

你能告诉我我做错了什么吗？

谢谢。

编辑 1：使用扩展框进行计划：

Answer 1

我构建了一个非托管扩展，看看我是否能比 Cypher 做得更好。你可以在这里抓住它 => https://github.com/maxdemarzi/social_dna

这是第一次尝试，我们可以做一些事情来加快速度。我们可以预先计算/保存相似的用户，在这里和那里缓存东西，以及随机的其他技巧。试一试，告诉我们进展如何。

问候， 最大

Answer 2

如果我没看错的话，它会通过userId 为用户查找所有匹配项，并根据您的各种条件分别为用户查找所有匹配项。然后它会找到它们聚集在一起的所有地方。

由于您从左侧开始使用单个节点的情况，我的猜测是我们会更好地遵循路径，然后通过关系遍历过滤它得到的内容。

让我们看看这样的开始对你有何帮助：

MATCH
  (me:User {userId: {source_user_id} })-[:LIKE | :MATCH]->()
  <-[:LIKE |  :MATCH]-(similar:User)
WITH similar
WHERE similar.birthday >= {target_age_gte} AND
      similar.birthday <= {target_age_lte} AND
      similar.countryCode = {target_country_code} AND
      similar.gender = {source_gender}
WITH similar, count(*) as weight ORDER BY weight DESC 
SKIP {skip_similar_person} LIMIT {limit_similar_person}



MATCH (similar)-[:LIKE | :MATCH]-(recommendation:User)
WITH recommendation, count(*) as sheWeight
WHERE recommendation.birthday >= {recommendation_age_gte} AND
      recommendation.birthday <= {recommendation_age_lte} AND
      recommendation.gender= {target_gender}
WITH recommendation, sheWeight ORDER BY sheWeight DESC 
SKIP {skip_person} LIMIT {limit_person}
MATCH (me:User {userId: {source_user_id} })
WHERE NOT ((me)--(recommendation))
RETURN recommendation

Answer 3

[更新]

查询效率低下的一个可能（非直观）原因是，当您指定 similar:User(birthday) 过滤器时，Cypher 使用带有 :User(birthday) 索引的索引搜索（以及针对 @ 987654324@ 和 gender) 查找similar 的所有可能 DB 匹配项。让我们将这组similar 节点称为A。

只有在找到 A 之后，查询过滤器才会查看其中哪些节点实际连接到 me，正如您的 MATCH 模式所指定的那样。

现在，如果与 A 的大小相比，me 到 similar 的路径相对较少（由 MATCH 模式指定，但不考虑其 WHERE 子句）——比如说，小 2 个或更多数量级 - 然后从 similar 中删除 :User 标签可能会更快（因为我认为在您的数据模型中他们可能都将成为用户），并删除 @ 987654339@ 子句。在这种情况下，不使用similar 的索引实际上对您来说可能更快，因为您只会在相对较小的一组节点上使用WHERE 子句。

同样的注意事项也适用于recommendation 节点。

当然，这一切都必须通过对您的实际数据进行测试来验证。