无法使用 BeautifulSoup 抓取内容

Question

我正在使用Python 和BeautifulSoup 进行网络抓取。

我必须刮掉这个页面。

http://www.starwoodhotels.com//sheraton/property/reviews/index.html?language=en_US&propertyID=115

从这个页面，我已经成功抓取了酒店的地址，但是我无法抓取用户评论部分

这是我的代码

hotel_link = "http://www.starwoodhotels.com//sheraton/property/reviews/index.html?language=en_US&propertyID=115"

hotel_page_html = requests.get(hotel_link,headers = header).text
hotel_page_soup = BeautifulSoup(hotel_page_html)

for hotel_address in hotel_page_soup.select("div#propertyAddressContainer ul#propertyAddress"):
  print("Address: "+hotel_address.select("li")[0].text)

print(hotel_page_soup.select("div.BVRRRatingNormalOutOf"))

如您所见，使用 CSS 选择器 div#propertyAddressContainer ul#propertyAddress，我得到了地址，但无法抓取 User Reviews 部分。

我在页面加载时检查了Console，但我没有看到任何用户评论是通过 AJAX 调用加载的。

那么我如何抓取评论部分？

Answer 1

你为什么要搞得这么复杂？

就这样吧，

soup.find("span",{"itemprop":"aggregateRating"}).text.encode('ascii','ignore').replace('\n',' ')

Out[]:
Rated 3.4 out of 5by 625 reviewers.

这不是你需要的吗？

Answer 2

工作代码

rev = hotel_page_soup.find( "span",
                            { "itemprop": "aggregateRating" }
                            ).text.encode( 'ascii',
                                           'ignore'
                                           ).replace( '\n', ' ' )

for total_rating_score in rev.select( "span" ):
    print ( total_rating_score.string )