如何从网站（使用 node.js）解析有关某些产品的信息？

Question

我需要解析来自网站的信息，例如 adidas.com。我对这款运动鞋之类的产品信息很感兴趣。如何获取特定产品的价格、图片、名称和图片等信息。

我尝试将 Node.js 与 Cheerio 和 request 等模块一起使用，但服务器没有提供任何信息。

console.log('In progress!');
const request =  require('request')
const cheerio = require('cheerio');

request('https://www.adidas.com/api/search/product/FY1159?sitePath=us', (error, response, html) => {
if (!error && response.statusCode == 200){
    console.log(html);
}
});

Answer 1

听起来您正在尝试执行一些网络抓取。由于您使用的是节点，因此有一个非常流行且广泛的模块 (Puppeteer) 允许您从网页中抓取数据。你可以在这里在他们的操场上进行试验：https://try-puppeteer.appspot.com/

另外，请记住，从网站的某些页面抓取数据可能存在法律问题，因此我建议您也对此进行调查。您可以在网站的robot.txt 文件中查看哪些页面是不允许/不允许的。