使用 PHP cURL 从网站获取一些文本并存储在 MySQL 中

Question

我一直在四处寻找以完成这项工作，但似乎我无法自己完成。我正在使用 cURL 从网站获取一些信息并将这些信息存储在 MySQL 数据库中。我现在拥有的是以下代码：

$target_url = "[http:\[//\]iliria98\[.\]com][1]"; //delete [ and ] to get the url correctly
$userAgent = 'Googlebot/2.1 (http://www.googlebot.com/bot.html)';

// make the cURL request to $target_url
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
curl_setopt($ch, CURLOPT_URL,$target_url);
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_TIMEOUT, 100);
$html= curl_exec($ch);
if (!$html) {
    echo "<br />cURL error number:" .curl_errno($ch);
    echo "<br />cURL error:" . curl_error($ch);
    exit;
}

// parse the html into a DOMDocument
$document = new DOMDocument();
libxml_use_internal_errors(true);
$document->loadHTML($html);
libxml_clear_errors();
$selector = new DOMXPath($document);
//$anchors = $selector->query('//div[@class="single"]/div[2]');
$anchors = $selector->query('//div[@class="single"]/div');
foreach($anchors as $div) { 
    $text = $div->nodeValue;

    $valuta_arr=explode(',', $text);
    var_dump($valuta_arr);
    echo $text;
}

而且，输出不正确，因为它从网站获取所有货币代码，但货币值仅来自第一行，来自美元。 我想要的是从指定的 url 上的 html 表中获取值，并将这些值插入到每种货币的数据库中，其中数据库表如下所示：

id
currency
sell
buy
date

我直到 mysql 插入代码才得到，因为我已经挣扎了 3 天，首先从那个网站获取信息。 希望有人可以帮助我。 谢谢大家。

Answer 1

如果您尝试通过curl http://iliria98.com 从控制台获取此页面，您会发现，此小部件由 js-script 填充：

$('div#usd1').append('<div style="position: absolute; background: transparent; width: 100%; height: 100%; left: 0; top: 0; z-index: 9999;"></div>')
$(".kursiweb .single").eq(0).find("div").eq(1).html("114<sup>.20</sup>");  $(".kursiweb .single").eq(0).find("div").eq(2).html("116");

等等……

因此，您只能从 curl 获取的源 HTML 中的脚本中获取所需的数据，而不是从 DOM 文档中获取所需的数据，因为 curl 没有任何 JS 引擎。

您可以采用的另一种方法 - 使用 PhantomJS 之类的东西