使用 PHP 获取和解析大量远程 XML 的替代方法？答案

【问题标题】：Alternatives to using PHP to fetch and parse large number of remote XMLs?使用 PHP 获取和解析大量远程 XML 的替代方法？
【发布时间】：2013-08-16 21:53:30
【问题描述】：

我需要通过 PHP 对远程 API 进行大量查询。请求和响应都是 XML 格式的。 XML 本身并不大，但请求的数量很大（大约 5000 个）。

PHP 在整个过程中花费的时间太长了。

对此有何解决方案或建议？

我在想也许可以打破这个过程，这样我就可以使用软件（比如 wget）来获取 XML 并将它们保存在硬盘上，然后 PHP 就可以获取并解析 XML。不确定这是否会更快。

是否有任何可用的自动化工具可用于获取和解析远程 XML，然后可能会触发任务。

如果我用 Python 或 Java 编写代码，这个过程会更快吗？

【问题讨论】：

除非解析非常复杂，否则瓶颈将来自请求。在这种情况下，使用像 java 这样更快的语言不会给您带来任何真正的速度提升。
我不认为我会在任何其他语言中运行得更快。最好尝试并行化。 php.net/manual/de/function.pcntl-fork.php stackoverflow.com/questions/2998314/…

标签： php xml

【解决方案1】：

请记住，瓶颈很可能不是 PHP（绝对不是 IMO）。您是否连续运行您的 Curl 调用（一次一个）？有一些工具可用于通过多个进程（pcntl_fork 和 curl_multi_exec）一次进行多个 curl 调用。不过请记住，您一次可以拨打多少次电话至此服务。

如果您的应用程序需要在这些调用之间进行一些通信或共享内存，那么您可能需要研究另一种语言（GoLang 非常适合这些类型的任务）

【讨论】：

感谢 curl_multi_exec 的建议