从 windguru 刮桌子答案

【问题标题】：Scrape tables from windguru从 windguru 刮桌子
【发布时间】：2019-10-31 09:35:11
【问题描述】：

我尝试从 www.windguru.com 中抓取表格，但使用 BeautifulSoup 找不到表格。

谁能帮我解决这个问题？这是我的代码：

import requests
from bs4 import BeautifulSoup
url = "https://www.windguru.cz/archive.php?id_spot=49308&id_model=3&date_from=2012-01-01&date_to=2012-12-31"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
tb = soup.find('table', class_='forecast daily-archive')

【问题讨论】：

必须使用帐户凭据创建会话并使用该凭据
我不明白！这是我问题的答案吗？
是的，这就是答案的一部分。该站点需要登录，因此您需要注册然后创建会话/将您的凭据发布到该站点。
当我进行网络报废时，我已连接到我的电子邮件。我需要有一个 PRO 帐户吗？
浏览器cookies与requests包cookies不同，见requests Sessions文档

标签： python web-scraping beautifulsoup

【解决方案1】：

当你使用 BeautifulSoup 请求库调用获取数据时，它没有你的登录凭据，就像你没有登录并试图查看表一样，我打开时不允许这样做网页以查看表格。

您可以使用 selenium 打开浏览器，然后输入您的登录凭据，然后，您可以继续使用 BeautifulSoup scrape 或尝试使用请求库和 scrape 创建会话 数据。

【讨论】：

仅供参考，它是 scrape（和 scraping、scraped、scraper）不是废品。 “废弃”的意思是像垃圾一样扔掉。