【发布时间】:2018-03-07 20:34:48
【问题描述】:
我正在尝试从 yelp 和 google 地方获取链接,并抓取他们的星级以及他们拥有的评论数量。我已经设法让 yelp URL 抓取工具正常工作,但是当我尝试对 Google URL 使用相同的方法时,我要么得到 .text(); 的空字符串返回;或未定义的 .attr();
这是我试图抓取的 HTML
<div class="review-score-container">
<div style="display:inline-block">
<span style="font-size:32px;margin-right:11px" class="rtng" aria-
hidden="true">4.9</span>
<g-review-stars>
<span class="_pxg _Kxg" aria-label="Rated 4.9 out of 5,">
<span style="width:100px"></span>
</span>
</g-review-stars>
<div style="display:inline;font-size:15px;margin-left:11px">
<span class="_Mnc _yz" style="white-space:nowrap">96 reviews</span>
</div>
</div>
</div>
这也可以在下面的 googleURL 链接中找到
var request = require('request')
var cheerio = require('cheerio')
var yelpURL = 'https://www.yelp.com/biz/yo-way-gardena'
var googleURL = 'https://www.google.com/search?rlz=1C1CHBF_enUS771US771&ei=9UafWtn0IaiZjwTXrJn4CQ&q=yo-way&oq=yo-way&gs_l=psy-ab.3..0l3j0i67k1l2j0i30k1l5.4447.5658.0.5873.15.8.0.0.0.0.152.868.3j5.8.0....0...1c.1.64.psy-ab..11.4.450...33i160k1j0i22i30k1j0i22i10i30k1.0.DnG3LoY6RC0&npsic=0&rflfq=1&rlha=0&rllag=38062739,-95056704,2059057&tbm=lcl&rldimm=5797977981249230753&ved=0ahUKEwi1g6eHjtnZAhUm54MKHdxpDVoQvS4IRTAA&rldoc=1&tbs=lrf:!2m1!1e2!2m1!1e3!3sIAE,lf:1,lf_ui:9#lrd=0x80c2caa3a184dc3d:0x50768e4143e597a1,1,,,&rlfi=hd:;si:5797977981249230753;mv:!1m3!1d4716380.17730953!2d-95.05670475!3d37.9292408!2m3!1f0!2f0!3f0!3m2!1i1185!2i281!4f13.1;tbs:lrf:!2m1!1e2!2m1!1e3!3sIAE,lf:1,lf_ui:9';
if (yelpURL) {
request(yelpURL, function(error, response, html){
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
var reviews = $('span[class="review-count rating-qualifier"]').first().text();
var stars = $('img[class="offscreen"]').attr('alt');
console.log('Number of reviews : ' + reviews);
console.log('Business Assessment : \n\t ' + stars + '\n');
}
});
}
if(googleURL) {
request(googleURL, function(error, response, html){
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
var reviews = $('span[class="_Mnc _yz"]').first().text();
var stars = $('span[class="rtng"]').first().text();
//var stars = $('span[class="_pxg _Kxg"]').attr('aria-label');
console.log('Number of reviews : ' + reviews);
console.log('Business Assessment : ' + stars);
}
});
}
我试图从 _pxg 类的 aria-label 属性中提取评级,然后从 rtng 类中获取“4.9”,它们只返回未定义或空字符串。至于评论编号,唯一获得它的地方是 _Mnc 类,它总是只返回一个空字符串。我知道谷歌从他们的 Google Places API 中删除了user_rating_total,否则我会使用它。我的猜测是,Google 不希望人们轻易放弃他们的网站,或者我只是对此很陌生并且遗漏了一些东西。
【问题讨论】:
标签: javascript node.js cheerio