【问题标题】:Neo4j 3.4.4 - Slow processing if using LISTNeo4j 3.4.4 - 如果使用 LIST,处理速度会很慢
【发布时间】:2018-07-16 14:37:17
【问题描述】:

就处理而言,两个相同的查询。多次运行以避免缓存时序失真:

MATCH (p:Pathway {name: {PNAME}}), (t:target {symbol: {TNAME}}) MERGE (p)-[:INVOLVES]->(t)

每秒运行 11,100 条命令

UNWIND {LIST} AS i MATCH (p:Pathway  {name: i.PNAME}), (t:target {symbol: i.TNAME}) MERGE (p)-[:INVOLVES]->(t)

以上在同一数据集上每秒运行 547 条命令。

Windows 10 专业版、64GB 内存、SSD、Python 3.7

上述语句中的两个变量都有唯一的约束,并且两个索引都为 ON。

LIST 语句在其他情况下要快得多,所以我喜欢将它用于批量操作。我在 Neo4j 3.4 上进行了测试,今天在 3.4.4 和 Python 3.6 和 3.7 上进行了测试。使用最新的 neo4j 驱动程序。结果相同。我的猜测是查询计划没有使用索引。 Pathway 中约有 40,000 个节点,目标中约有 25,000 个。

有什么建议吗?提前致谢。

使用列表时的查询计划。对于此配置文件,该列表包含一条记录。

建议:计划优化器是否可以计算列表中的记录数,以确定是扫描所有记录还是单独使用唯一索引。如果需要少于 10% 的行使用唯一索引,可能会设置一个阈值。只是 Neo4j 开发人员的一个想法。与此同时,我放弃了使用 LIST 版本。

【问题讨论】:

  • 请分析两个查询并将它们的查询计划(扩展所有元素)添加到您的问题中,这应该会有所帮助,并且您将能够判断是否未使用索引。跨度>
  • 对于使用 LIST 的查询,两个 NodeIndexScan 用于数千个数据库命中。对于另一个查询,使用两个 NodeUniqueIndexSeek(Locking),每个有 2 个 db 命中。
  • 您可以将查询计划添加到您的描述中吗?
  • 添加了 LIST 查询计划。谢谢
  • 能否展开计划的所有元素,然后替换图像?如果不扩展元素,很难看出一些运营商在做什么

标签: performance neo4j


【解决方案1】:

UNWIND {list} 是要你死的。您正在将查询的动态从一个完全改变到另一个。

第一个查询是简单的 2 节点查找,第二个查询是创建一堆行,然后进行每行 2 节点匹配。

在第一个示例中,Cypher Planner 使用索引进行匹配是显而易见的。在后面,计划者不确定最好的方法是什么。对每一行的索引运行,或扫描所有节点以尝试一次通过(或其他方式)获得所需的内容?

您可以使用 Cypher hints 尝试帮助 Planner 选择正确的,但在您的情况下,请使用第一个查询。第一个查询对于 Cypher 规划器来说更简单,更容易规划,规划器实际上会缓存该规划,这样每次重新运行它时它就不需要弄清楚要做什么。 (第二个查询也会,但据我所知,它只是在尝试(并且失败)重现使用参数化查询的性能提升,所以为什么不只使用内置的 Neo4j?)。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-03-26
    • 1970-01-01
    • 1970-01-01
    • 2013-10-05
    • 1970-01-01
    相关资源
    最近更新 更多