【发布时间】:2019-04-25 10:26:22
【问题描述】:
2 年多来,我已经与另一个网站达成协议,以便能够通过我的脚本使用 Simple_html_DOM 获取他们的内容。现在突然没有任何警告并且仍然与他们签订合同我得到failed to open stream: Connection timed out无论我使用什么 - simple_html_DOM、cURL、file_get_content。我什至尝试了 snoopy 库来模拟网络浏览器,但仍然连接超时。他们以某种方式阻止连接。它不是 IP 阻塞,就像我从几个不同的服务器上尝试过的一样,结果相同。他们的网站在我的网络浏览器中加载正常,所以那里没有问题。有没有其他方法可以从该网站获取内容?因为我付了钱,他们拿了我的钱后公然不理我。
【问题讨论】:
-
所以您在所有尝试过的案例中都收到“连接超时”并且根本没有响应?在大多数情况下,Web 主机执行标头检查以查看访问客户端是否是 Web 浏览器,即通过检查 User-Agent。最好的方法是模仿浏览器在 cURL 请求中发送的所有请求标头,看看是否仍会导致超时。还要确保它不是你身边的其他东西,例如您在 Web 浏览器中使用代理,而在程序测试中没有使用代理。
标签: php web-scraping simple-html-dom snoopy