Python多处理来处理一个大的xml文件

Question

我现在的设计

从大 xml 中循环遍历每个元素，然后将其展平，并将其保存到多个 json 文件中。在Loop each element 过程中花了很长时间。

我想要达到的是

在循环之前拆分它。有可能实现吗？

P/S：扁平化过程是这样的

<root>
    <aaa>
        <bbb>
            <ccc>
                Foo
            </ccc>
        </bbb>
        <xxx>
            Bar
        </xxx>
    </aaa>
    <aaa>
        <bbb>
            <ccc>
                Alice
            </ccc>
        </bbb>
        <xxx>
            Bob
        </xxx>
    </aaa>
</root>

进入

[
    {
        "aaa_bbb_ccc": "Foo",
        "aaa_xxx": "Bar"
    },
    {
        "aaa_bbb_ccc": "Alice",
        "aaa_xxx": "Bob"
    }
]

Answer 1

您可以使用线程池或进程来提高速度。对于在同一台服务器上工作的其他人来说，线程可以轻松生活。如果你一个人，你可以使用流程。