将会话设置为抓取页面

Question

网址1：https://duapp3.drexel.edu/webtms_du/

网址2：https://duapp3.drexel.edu/webtms_du/Colleges.asp?Term=201125&univ=DREX

URL3：https://duapp3.drexel.edu/webtms_du/Courses.asp?SubjCode=CS&CollCode=E&univ=DREX

作为个人编程项目，我想抓取我大学的课程目录并将其作为 RESTful API 提供。

但是，我遇到了以下问题。

我需要抓取的页面是 URL3。但是URL3只有在我访问URL2后才返回有意义的信息（它在那里设置了术语Colleges.asp?Term=201125），但是URL2只有在访问URL1之后才能访问。

我尝试使用 Fiddler 监控往返的 HTTP 数据，但我认为他们没有使用 cookie。关闭浏览器会立即重置所有内容，所以我怀疑他们正在使用 Session。

如何抓取 URL 3？我尝试以编程方式首先访问 URL 1 和 2，然后执行 file_get_contents(url3) 但这不起作用（可能是因为它注册为三个不同的会话。

Answer 1

会话也需要一种机制来识别您。流行的方法包括：cookie、URL 中的会话 id。

URL 1 上的curl -v 表明确实正在设置会话 cookie。

Set-Cookie: ASPSESSIONIDASBRRCCS=LKLLPGGDFBGGNFJBKKHMPCDA; path=/

您需要在任何后续请求中将此 cookie 发送回服务器以保持会话活动。

如果您想使用file_get_contents，您需要使用stream_context_create 手动为其创建一个上下文，以便在请求中包含cookie。

另一种选择（我个人更喜欢）是使用 PHP 方便地提供的curl functions。 （它甚至可以为您处理 cookie 流量！）但这只是我的偏好。

编辑：

这是一个在您的问题中抓取路径的工作示例。

$scrape = array(
    "https://duapp3.drexel.edu/webtms_du/",
    "https://duapp3.drexel.edu/webtms_du/Colleges.asp?Term=201125&univ=DREX",
    "https://duapp3.drexel.edu/webtms_du/Courses.asp?SubjCode=CS&CollCode=E&univ=DREX"
);

$data = '';
$ch = curl_init();

// Set cookie jar to temporary file, because, even if we don't need them, 
// it seems curl does not store the cookies anywhere otherwise or include
// them in subsequent requests
curl_setopt($ch, CURLOPT_COOKIEJAR, tempnam(sys_get_temp_dir(), 'curl'));

// We don't want direct output by curl
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Then run along the scrape path
foreach ($scrape as $url) {
    curl_setopt($ch, CURLOPT_URL, $url);
    $data = curl_exec($ch);
}

curl_close($ch);

echo $data;