如何从 Ajax 或 Json 中抓取数据答案

【问题标题】：How to scrape data from Ajax or Json如何从 Ajax 或 Json 中抓取数据
【发布时间】：2017-05-14 10:54:23
【问题描述】：

我想从这个url抓取数据

我能够从 html 标签 usign curl 中获取简单数据，但无法从 Json 或 Ajax 中获取数据，我不确定是 Ajax 还是 Json 数据。

在下面的屏幕截图中，我想获取 Appliance Models 数据。

我认为是 json 或 ajax。 ==>>

下面是我从页面获取数据的脚本 -

$loginURL = "https://www.apwagner.com/appliance-part/wpl/wp661600";
//$file='source.html'; //create a html file to save source code
    $ch = curl_init();
    $timeout = 5;
    curl_setopt($ch, CURLOPT_URL, $loginURL);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    $data = curl_exec($ch);
    curl_close($ch);

请提供一些指导以获取此信息..

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,"https://www.apwagner.com/Product/GetPartModel");
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,
            "partNumber=wp661600&make=wpl");

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$server_output = curl_exec ($ch);

curl_close ($ch);

【问题讨论】：

你看过DOMDocument?? php.net/manual/en/domdocument.loadhtml.php
是的，我也检查过了。但是没有用。
显然这不会直接工作，那只是为了帮助您启动..您必须根据您的要求创建代码...
@NishantSolanki 我已经尝试过使用多种方式..你能指导我如何使用 DOMDocument 或任何其他方式获取数据。
我检查了 URL，您尝试通过 CURL 访问的列表不是直接加载..它是通过 ajax...获取 ajax url..检查哪些数据在 URL 中传递，用相同的数据对相同的 url 进行 ajax 调用，你会得到你的结果：D.. 这个答案可以帮助你.. stackoverflow.com/questions/14625915/…

标签： php json ajax curl web-scraping

【解决方案1】：

部分数据页面通过ajax请求获取。

see this screenshot

你需要用 curl 来做在收到您的第一个 curl 响应后

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,"https://www.apwagner.com/Product/GetPartModel");
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,
            "partNumber=wp661600&make=wpl");

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$server_output = curl_exec ($ch);

curl_close ($ch);

或者尝试使用 python 脚本报废数据

import string
import time
from selenium import webdriver

driver = webdriver.Chrome('<path to your chrome driver>') 
driver.get('https://www.apwagner.com/appliance-part/wpl/wp661600');

【讨论】：