通过爬虫从嵌套在 MVC C# 应用程序中的 Angular 应用程序获取内容答案

【问题标题】：Get content by crawler from Angular app nested in MVC C# app通过爬虫从嵌套在 MVC C# 应用程序中的 Angular 应用程序获取内容
【发布时间】：2019-05-08 10:33:13
【问题描述】：

更新：任务是通过发送请求来解决的，仍然是 cURL，使用 Angular 使用的 AJAX URL 与 .NET 通信。 URL 是在浏览器中使用 Inspect 来查找的。p>

所以现在我有：

 curl_setopt($ch, CURLOPT_URL, "http://www.example.com/API_method/parameters");

结束更新

我需要在基于 Zend 2.0 PHP 的爬虫应用程序中使用 cURL 库获取内容。

内容在 Angular 页面内。 Angular 应用程序嵌套在 IIS 服务器上的 MVC C# .NET 应用程序中。

我有：

curl_setopt($ch, CURLOPT_URL, "http://www.example.com/");

我只从没有页面的 C# 获得响应，因此出现 404 错误：

array(2) {
  ["response"]=>
  array(27) {
    ["url"]=>
    string(105) "http://www.example.com/"
    ["content_type"]=>
    string(29) "text/html; charset=iso-8859-1"
    ["http_code"]=>
    int(404)
...

如何获取 Angular 页面的内容？

【问题讨论】：

如果可以的话，请在您的问题中添加最少的代码来显示您正在尝试的内容，以及显示您用于解决问题的代码的答案。
好的，请看更新

标签： php curl zend-framework2 web-crawler

【解决方案1】：

使用 Selenium WebDriver 或 Chrome Headless，因为 Angular 基于 AJAX 原则工作——通过浏览器使用 JavaScript 从 API 加载数据

您可以使用实用的包装器，例如Codeception 测试框架

【讨论】：