使用 PHP 解析数组中的多个 url答案

【问题标题】：Parse several urls in an array with PHP使用 PHP 解析数组中的多个 url
【发布时间】：2017-11-13 01:42:47
【问题描述】：

我编写了一个从 url 检索一些数据的 PHP 代码。它首先下载 HTML，然后解析一些数据。

问题是我必须使用超过 20k 个不同的 url 来运行它。有没有办法从浏览器运行 PHP？我应该如何运行 PHP 长进程？

非常感谢！

【问题讨论】：

【解决方案1】：

您可以使用 cUrl 同时下载多个 url，这样可以让您的代码运行得更快：

我不确定它是否可以同时请求 20k+ 个 url，但如果需要，您可以分批运行它。运行 1k 次同时请求 20 个网站的功能比一个一个请求 20k 个网站要快。 :)

我不明白从浏览器运行 PHP 的部分。 PHP 仅在服务器中运行。你可以下载它，安装在你的电脑上，然后从那里运行，是你想要的吗？

【讨论】：

对不起，我想我没有很好地解释自己。我说从浏览器运行是因为我从浏览器（即 mywebsite/parser.php）调用 PHP。问题是它正在加载我的结果的网页崩溃了。我认为这可能是长请求的一种超时......知道我应该如何处理这个问题吗？也许我应该使用 Python 而不是 PHP？
哼...它显示什么样的错误？会不会内存不足？它只是冻结浏览器吗？

【解决方案2】：

你可以使用PHP Command line：

告诉 PHP 执行某个文件。
$ php my_script.php

【讨论】：