【发布时间】:2015-03-07 14:44:44
【问题描述】:
self.dom = dom = minidom.parse(datasource)
datasource 是一个 30MB 的 XML 文件。这个 parse 语句构造了一个树形结构,它消耗了将近 2.5GB 的 RAM,这对我来说也是如此。
但是,我的公司目前只使用 python 2.4,所以不能使用 ElementTree 或任何最新的解析方法。现在切换到 SAX 解析对我来说也是非常昂贵的。那么,我可以对 DOM 解析进行任何优化以减少使用的内存量吗?
另外,我想知道解析XML文件需要2.5G还是解析后生成的树结构(dom/self.dom)占用这么多内存?我如何找到它?
【问题讨论】:
-
解析较大的 XML 文件通常通过迭代内容来解决(使用 SAX 或迭代器,例如来自
lxml),这允许几乎任何大小的源 xml 文档的最小内存占用。但是受限于 Python 2.4(lxml不适用于该版本的 PyPi,查找和构建旧版本可能是一个挑战)并且不愿意使用 SAX 排除了所有技术,这被证明对这种技术很有效任务。
标签: python dom python-2.4