【问题标题】:Optimize DOM parsing to use lesser memory优化 DOM 解析以使用更少的内存
【发布时间】:2015-03-07 14:44:44
【问题描述】:
self.dom = dom = minidom.parse(datasource)

datasource 是一个 30MB 的 XML 文件。这个 parse 语句构造了一个树形结构,它消耗了将近 2.5GB 的 RAM,这对我来说也是如此。

但是,我的公司目前只使用 python 2.4,所以不能使用 ElementTree 或任何最新的解析方法。现在切换到 SAX 解析对我来说也是非常昂贵的。那么,我可以对 DOM 解析进行任何优化以减少使用的内存量吗?

另外,我想知道解析XML文件需要2.5G还是解析后生成的树结构(dom/self.dom)占用这么多内存?我如何找到它?

【问题讨论】:

  • 解析较大的 XML 文件通常通过迭代内容来解决(使用 SAX 或迭代器,例如来自 lxml),这允许几乎任何大小的源 xml 文档的最小内存占用。但是受限于 Python 2.4(lxml 不适用于该版本的 PyPi,查找和构建旧版本可能是一个挑战)并且不愿意使用 SAX 排除了所有技术,这被证明对这种技术很有效任务。

标签: python dom python-2.4


【解决方案1】:

来自official 文档:

xml.dom.minidom.parse(filename_or_file[, parser[, bufsize]])

您可以指定一个 bufsize,使其在任何给定时间仅占用 X 量的内存

【讨论】:

  • 文档说解析器需要是一个 SAX2 对象。那么,我是否需要先进行 SAX 解析,然后在上面的语句中将解析器连同内存大小一起提供给解析器?
  • 是的,你是对的。在这个网站上寻找其他类似的答案,看起来这个库对您的应用程序不是很好。看看这里提供的一些替代方案stackoverflow.com/questions/26787026/…
  • 有没有办法找到self.dom在内存中的空间? self.dom = dom = minidom.parse(datasource)
  • 你可以将 valgrind 与 python stackoverflow.com/questions/20112989/… 一起使用,但是有很多 python 分析器,只需搜索 python 分析器,你就会找到一堆,它们应该会告诉你哪些资源正在消耗该函数
  • 3058.891 MiB dom1 = minidom.parse(datasource) 我使用了一个内存配置文件“memory_profiler”,就像你说的那样,它说该特定语句的使用量为 3gb。我想知道 3gb 是否是由于解析这样的大文件或 3gb 是由于存储生成的大树。知道吗? :) 感谢您的帮助!
猜你喜欢
  • 1970-01-01
  • 2018-03-30
  • 2020-11-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-08-08
相关资源
最近更新 更多