使用beautifulsoup 和selenium webdriver 需要帮助Web 抓取表

Question

所以我正在努力尝试对https://data.bls.gov/cgi-bin/surveymost?bls 进行网络抓取，并能够弄清楚如何通过点击进行网络爬网以到达一张桌子。

我正在练习的选择是在您选择与“就业成本指数（ECI）平民（未调整）-CIU1010000000000A”相关的复选框后，然后选择“检索数据”。

处理完这两个后，表格将显示。这是我要抓取的表格。

以下是我目前拥有的代码。

请注意，您必须将自己的浏览器驱动程序路径放在我放置的位置。

from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
import numpy as np
import requests
import lxml.html as lh

from selenium import webdriver
url = "https://data.bls.gov/cgi-bin/surveymost?bls"
ChromeSource = r"<browser driver>"

# Open up a Chrome browser and navigate to web page.
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless') # will run without opening browser.
driver = webdriver.Chrome(ChromeSource, chrome_options=options)
driver.get(url)

driver.find_element_by_xpath("//input[@type='checkbox' and @value = 'CIU1010000000000A']").click()
driver.find_element_by_xpath("//input[@type='Submit' and @value = 'Retrieve data']").click()

i = 2

def myTEST(i):
    xpath = '//*[@id="col' + str(i) + '"]'
    TEST = driver.find_elements_by_xpath(xpath)

    num_page_items = len(TEST)
    for i in range(num_page_items):
        print(TEST[i].text)
myTEST(i)

# Clean up (close browser once completed task).
driver.close() 

现在这只是查看标题。我也想获得表格内容。

如果我让 i = 0，它会产生“年”。 i = 1，它产生“期间”。但是，如果我选择 i = 2，我会得到两个变量，它们对于“估计值”和“标准误差”具有相同的 col2 id。

我试图想办法解决这个问题，但似乎无法得到我研究过的任何东西。

本质上，最好从我完成单击并位于感兴趣的表处开始，然后查看标题的 xpath 并为所有 sub 拉入文本。

<tr> == $0
  <th id="col0"> Year </th>
  <th id="col1"> Period </th>
  <th id="col2">Estimated Value</th>
  <th id="col2">Standard Error</th>
<tr>

我不知道该怎么做。我还尝试遍历 {i} 但显然与两个标题文本共享会导致问题。

一旦我能够获得标题，我就想获得内容。如果我走在正确的道路上，是否想得太多，或者是否有更简单的方法来完成所有这些，我可以让你了解一下。我正在学习，这是我第一次尝试使用 selenium 库进行点击。我只是想让它工作，这样我就可以在不同的桌子上再试一次，并使其尽可能自动化或可重复使用（通过调整）。

Answer 1

其实你不需要selenium，你可以只跟踪POSTForm data，并在你的POST请求中应用它。

然后您可以使用Pandas 轻松加载表格。

import requests
import pandas as pd

data = {
    "series_id": "CIU1010000000000A",
    "survey": "bls"
}


def main(url):
    r = requests.post(url, data=data)
    df = pd.read_html(r.content)[1]
    print(df)


main("https://data.bls.gov/cgi-bin/surveymost")

解释：

• 打开site。
• 选择Employment Cost Index (ECI) Civilian (Unadjusted) - CIU1010000000000A
• 现在您必须打开浏览器Developer Tools 并导航到Network Monitor 部分。 etc 按 Ctrl + Shift + E (Command + Option + E 在 Mac 上）。

• 现在您会发现 POST 请求已完成。

• 导航到Params 选项卡。

• 现在您可以发出POST 请求。并且由于Table 是在HTML 源中提供的，并且它不是通过JavaScript 加载的，因此您可以在bs4 中解析它或使用pandas.read_html() 以良好的格式阅读它

注意：只要不是通过JavaScript 加载的表格，您就可以读取表格。否则您可以尝试跟踪XHR 请求（检查以前的answer），或者您可以使用selenium 或requests_html 来渲染JS，因为requests 是一个无法渲染它的HTTP 库为你。