【问题标题】:failed to open stream: Connection timed out when getting content from another website无法打开流:从其他网站获取内容时连接超时
【发布时间】:2019-04-25 10:26:22
【问题描述】:

2 年多来,我已经与另一个网站达成协议,以便能够通过我的脚本使用 Simple_html_DOM 获取他们的内容。现在突然没有任何警告并且仍然与他们签订合同我得到failed to open stream: Connection timed out无论我使用什么 - simple_html_DOM、cURL、file_get_content。我什至尝试了 snoopy 库来模拟网络浏览器,但仍然连接超时。他们以某种方式阻止连接。它不是 IP 阻塞,就像我从几个不同的服务器上尝试过的一样,结果相同。他们的网站在我的网络浏览器中加载正常,所以那里没有问题。有没有其他方法可以从该网站获取内容?因为我付了钱,他们拿了我的钱后公然不理我。

【问题讨论】:

  • 所以您在所有尝试过的案例中都收到“连接超时”并且根本没有响应?在大多数情况下,Web 主机执行标头检查以查看访问客户端是否是 Web 浏览器,即通过检查 User-Agent。最好的方法是模仿浏览器在 cURL 请求中发送的所有请求标头,看看是否仍会导致超时。还要确保它不是你身边的其他东西,例如您在 Web 浏览器中使用代理,而在程序测试中没有使用代理。

标签: php web-scraping simple-html-dom snoopy


【解决方案1】:

服务器可能基于(不存在有效)用户代理标头 (User-Agent:) 阻止请求。基本上,这个标头自我识别到服务器它是什么:浏览器、机器人、蜘蛛或应用程序等。

您可以尝试使用 cURL 发送服务器期望从典型浏览器发送的相同类型的标头,使用 curl_setopt 和 CURLOPT_USERAGENT 选项(此处为 docs)。

$url = "https://example.com";
// we're going to impersonate Chrome 74 on MacOS in this example.
$user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"; 
$ch = curl_init();
// this is where we set the option to send the user agent header
curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_VERBOSE, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_URL,$url);
$result=curl_exec($ch);

如果这仍然不起作用,请确保您不需要 cookie 或登录凭据。

【讨论】:

  • 作为替代方案(或在失败的情况下进行下一步),您还可以在浏览器中打开网站,打开开发人员工具,转到“网络”选项卡,右键单击加载页面的主请求,单击“复制为 cURL”并在终端中运行它。然后一一删除标题,找出他们阻止的标题。然后使用这些知识在 PHP 中复制最少的必要请求。
【解决方案2】:

如果你想使用file_get_content() 而不是 curl。你可以这样做:

$options  = array('http' => array('user_agent' => 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'));
$context  = stream_context_create($options);
$response = file_get_contents('http://domain/path/to/uri', false, $context);

【讨论】:

    猜你喜欢
    • 2011-12-26
    • 1970-01-01
    • 2013-01-05
    • 1970-01-01
    • 1970-01-01
    • 2020-01-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多