做网页抓取时的问题

Question

我正在抓取网页https://www.g2a.com/rising-storm-2-vietnam-steam-cd-key-global.html

我需要从表格数据中获取标题。

    var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();

app.get('/scrape', function(req, res) {

    url = 'https://www.g2a.com/rising-storm-2-vietnam-steam-cd-key-global.html';

    request(url, function(error, response, body) {
        if (!error) {
            var $ = cheerio.load(body);


            var arr = [];

            var title = $('.mp-user-rating tr').each(function() {
                var tableData = $('.marketplace-name > .mp-rating-popup');
                arr.push({ 'title': tableData.text() });
            });
        }
        res.send('Check your console!')

    });
})
app.listen('8081');

console.log('Magic happens on port 8081');

exports = module.exports = app;

这里的数据在第三列，无法得到预期的.mp-user-rating tr数据。

图片展示了表格的结构

任何帮助将不胜感激。

Answer 1

所以，我转到页面并在控制台中运行它。

var arr = [];
var title = jQuery('.mp-user-rating tr').each(function(i, element) {
   var tableData = jQuery(element).find('.mp-rating-popup');
   arr.push({ 'title': tableData.text() });
});
console.log(arr);

该数组由 8 个对象组成，每个对象中都有标题。

更新：

我使用您的代码提取了 html 信息。我认为问题是，html是由网站异步加载的，因此，拉取html只会检索静态标记。您需要使用 PhantomJS 或 chrome 的无头浏览器来加载网站并允许加载异步信息，然后您可以获取 html。

在此处查看有关 PhantomJS 的一些优秀文档：https://github.com/Medium/phantomjs