PHP 通过远程调用获取页面内容

Question

好的，所以我正在寻找的有点类似于下面的代码，它非常愚蠢并且由于某种我现在完全不关心的原因而无法工作（请阅读代码下的问题！！）：

$url = urldecode($_GET["link"]);
$port = (preg_match("/^https\:\/\//", $url) > 0 ? 443 : 80);

$headers  = "GET / HTTP/1.1\r\n";
$headers .= "Host: $url";
$headers .= "Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.3\r\n";
$headers .= "Accept-Encoding: gzip,deflate,sdch\r\n";
$headers .= "Accept-Language: hu-HU,hu;q=0.8,en-US;q=0.6,en;q=0.4\r\n";
$headers .= "Cache-Control: no-cache\r\n";
$headers .= "Connection: keep-alive\r\n";
$headers .= "User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.52 Safari/536.5\r\n\r\n";
//yea, I'm using Google Chrome's userAgent

$socket = @fsockopen($url, $port) or die("Could not connect to $url");

if ($socket) {

    fwrite($socket, $headers);

    while (!feof($socket)) {
        echo fgets($socket, 128);
    }

    fclose($socket);
}

如您所见，我想要实现的是以某种方式从 GET 全局中的 url 获取 html 或任何其他输出。同样，代码不起作用，我不在乎，我不需要代码更正，我需要信息/指导。

现在。我不是 PHP 大师，所以问题有点复杂：

• 为了实现上述需求，我有哪些选择？
• 在执行该特定方法之前/之后我需要注意什么？
• 任何依赖项（库）？
• 专业人士/kontras/以前的经验？

如果你只用一堆链接回答，我也非常感谢，我并不是在寻找一个机器人回答，比如“这是你应该做的最神圣和唯一的方法！”，我更多的是收集信息和选项，知识。 =)

我不知道这是否重要（例如 MongoDB 的驱动程序）：我目前在 Windows 7 x64 上使用 WAMP 服务器，后来我计划将它移动到我的 CentOS 6.2 网络服务器下，所以也请考虑这些（可能依赖于 Linux）。

Answer 1

如果您想更改用户代理并获取页面内容，您有几个选择：

第一个也是最好的 IMO 是 curl，99.9% 的主机都启用了这个功能，如果它是你自己的 vps，那么它很容易设置 http://bit.ly/KUn3AS：

<?php 
function curl_get($url){
    if (!function_exists('curl_init')){
        die('Sorry cURL is not installed!');
    }
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, "MozillaXYZ/1.0");
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
?>

其次是file_get_contents 和自定义流上下文：

<?php
function fgc_get($url) {
    $opts = array(
      'http'=>array(
        'method'=>"GET",
        'header'=>"Accept-language: en\r\n" .
                  "Cookie: foo=bar\r\n" .
                  "User-Agent: MozillaXYZ/1.0\r\n"
      )
    );
    $context = stream_context_create($opts);
    $urlContents = file_get_contents($url, false, $context);
    return file_get_contents($url, false, $context);
}
?>

如果您接受来自用户的任意 URL 输入 $_GET 则您选择哪种方法，那么在某些情况下您可能会被滥用，如果您希望为您的网站 AJAX 请求创建代理，那么您可以添加一些安全性，例如只允许特定域，或在执行任何外部报废之前检查其是否为 xmlhttprequest/AJAX 请求等，但您可以将其保留为您的选择：

<?php 
if(!empty($_GET['url']) && !empty($_SERVER['HTTP_X_REQUESTED_WITH']) && strtolower($_SERVER['HTTP_X_REQUESTED_WITH']) == 'xmlhttprequest') {

    $allowed = array('somesite.com','someothersite.com');

    $url = parse_url($_GET['url']);

    if(in_array($url['host'],$allowed)){
        echo curl_get($_GET['url']);
    }
    die;
}
?>

Answer 2

从 URL 获取内容的简单方法

1) 第一种方法

在您的主机（php.ini 或其他地方）启用 Allow_url_include

<?php
$variablee = readfile("http://example.com/");
echo $variablee;
?> 

或

2)第二种方法

启用 php_curl、php_imap、php_openssl

<?php
// you can add anoother curl options too
// see here - http://php.net/manual/en/function.curl-setopt.php
function get_data($url) {
  $ch = curl_init();
  $timeout = 5;
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)");
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST,false);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,false);
  curl_setopt($ch, CURLOPT_MAXREDIRS, 10);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

$variablee = get_data('http://example.com');
echo $variablee;
?>