【问题标题】:Python Beautiful Soup web scraping CNN election resultsPython Beautiful Soup 网络抓取 CNN 选举结果
【发布时间】:2016-11-16 03:52:46
【问题描述】:

请多多包涵,我是网络抓取的新手!我想从这个 CNN 网页http://www.cnn.com/election/results/exit-polls 上刮掉所有的出口民意调查数据 对于这个问题,我只会要求抓取第一个出口民意调查,即性别问题。 下面的代码不打印任何东西。我做错了什么?没有遍历所有标签?

import urllib2
from bs4 import BeautifulSoup
html = urllib2.urlopen('http://www.cnn.com/election/results/exit-polls').read()
soup = BeautifulSoup(html)
table = soup.find("div",{"class":"exit-poll__question"})
print table

【问题讨论】:

  • BeautifulSoup 无法获取该信息,因为该信息是使用 Javascript 加载的。
  • 啊,那我需要用什么?
  • 看看dryscrape 之类的东西。有一个很好的用法示例here

标签: python web-scraping beautifulsoup


【解决方案1】:

你可以在这个link找到数据

您可以在 chrome 的开发工具>>网络中找到该链接

所以你需要做的是请求 url

我希望这会有所帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-28
    • 2020-09-04
    • 1970-01-01
    • 1970-01-01
    • 2017-12-21
    相关资源
    最近更新 更多