【问题标题】:doctrine2 - How to improve flush efficiency?学说2 - 如何提高冲洗效率?
【发布时间】:2012-02-01 05:03:06
【问题描述】:

我必须更新我的 Doctrine 实体以匹配(可能非常大)XML 文件中的记录。我还必须根据 XML 中的数据更新 ManyToMany 关联。这就是我在循环中所做的:

  1. 从 XML 中获取数据
  2. 从数据库中获取实体(如果不存在则创建新的)
  3. 设置新的实体属性
  4. 获取当前实体关联(getter 返回ArrayCollection 对象)
  5. 清除所有关联(通过调用ArrayCollection::clear())
  6. 设置新的关联(通过在子循环中调用ArrayCollection::add())
  7. EntityManager 持久化实体

在循环之后我调用EntityManager::flush()。

问题在于刷新会生成大量查询,而不是一次更新/插入/删除多行。对于每个实体都执行以下查询:

  • 选择从数据库中获取实体
  • UPDATE 以更新实体属性(现在实际上已跳过,因为没有更改任何属性...)
  • DELETE 以清除以前的关联
  • INSERT 以插入新关联

因此,对于 XML 中的 305 条记录,我总共得到 915 个查询(我想如果所有实体都会更改,它可能会达到 1220 个查询),这使得导入非常慢。

我可以利用 IdentityMap 并在循环之前预取实体,但仍然存在 UPDATE/DELETE/INSERT 查询。

  • 有没有办法让 flush 方法更好地优化查询(使用多插入、WHERE IN 而不是多个 DELETE 查询等)?
  • 这是flush方法的正常行为还是我做错了什么?
  • 也许我更新实体关联的方式存在问题。有没有更好的方法来做到这一点? (而不是“get/clear/add”方法)
  • 我知道 Doctrine 不适用于大规模 betch 处理,但我认为将其用于 XML 导入是避免非 ORM 方法可能出现的数据库不一致的最佳方法。对吗?
  • 如果上面的方法不对,应该如何解决?

【问题讨论】:

    标签: php mysql doctrine-orm


    【解决方案1】:

    你做得对——只是速度很慢,因为添加了 ORM 抽象意味着你无法进行你想要的各种优化。

    也就是说,EntityManager 在处理这么大的事务时确实会变慢。如果您在一个大事务中并不绝对需要它们,您可能可以通过在循环的每 20-200 次迭代中对 EM 进行刷新()然后清除()来获得更高性能的代码。

    如果这不能为您带来足够的性能,我能想到的唯一选择是恢复为直接针对您的 DBMS 运行自定义 SQL 的自定义代码。

    我知道这不是一个很好的答案,但至少我可以告诉你,你没有疯。

    ------编辑------

    来自Batch processing上的官方Doctrine2文章:

    有些人似乎想知道为什么 Doctrine 不使用 多插入(插入(...)值(...),(...),(...),...

    首先,这个语法只支持mysql和更新的 postgresql 版本。其次,没有简单的方法来掌握所有 使用时在这样的多插入中生成的标识符 AUTO_INCREMENT 或 SERIAL 并且 ORM 需要身份标识符 对象的管理。最后,插入性能很少是 ORM 的瓶颈。普通插入速度足够快 大多数情况下,如果你真的想做快速批量插入,那么 无论如何,多插入不是最好的方法,即 Postgres COPY 或 Mysql LOAD DATA INFILE 的速度要快几个数量级。

    这些是不值得努力实施的原因 在 mysql 和 postgresql 上执行多插入的抽象 ORM。

    使用远程与本地数据库时,性能也存在显着差异,因为将每个查询发送到远程服务器的开销非常大。由于事务和数据库优化,使用本地数据库的开销要低得多。 (例如问题示例中的 70 秒降低到 300 毫秒)

    【讨论】:

    • 根据我的研究,没有办法在仍然使用 ORM 的同时更好地优化导入。我为潜在的未来谷歌人添加了一些信息。
    • 添加 $em->clear() 后,持久性工作得更快,完全解决了我的问题。如果您想要更快的插入,请在每次插入查询时禁用索引重建。 $conn->prepare('SET autocommit=0;')->execute(),查询完后做$conn->prepare('COMMIT;')->execute();
    • @tomazahlin 其实连接类已经支持显式处理事务:doctrine-orm.readthedocs.org/en/latest/reference/…
    【解决方案2】:

    不确定这是否直接回答了原始发帖人提出的问题,但希望这将有助于其他人在冲洗时遇到 Doctrine 速度问题。

    ...关于刷新速度,请确保您的 xdebug 分析器未打开。

    [php.ini]
    ; PROFILING
    ;xdebug.profiler_enable = 1
    ;xdebug.profiler_output_name = "cachegrind.out.%t.%s.%p"
    ;xdebug.profiler_output_dir = "C:\xampp\tmp"
    

    作为一个例子,在我的例子中,这对 Doctrine 刷新操作有多大影响,3000 条记录是 55 秒,而在分析器关闭的情况下是 5 秒!

    【讨论】:

    • 这应该是正确的答案恕我直言。禁用 xdebug 就大不相同了,从几个小时到几分钟。谢谢。
    猜你喜欢
    • 2017-10-18
    • 1970-01-01
    • 2019-04-27
    • 1970-01-01
    • 2013-07-03
    • 2011-02-21
    • 2016-12-18
    • 2018-10-18
    • 1970-01-01
    相关资源
    最近更新 更多