根据日期从每个表中抓取

Question

我正在尝试从 1995 年至今抓取数据 https://www.bps.go.id/indicator/3/1/25/inflasi-umum-.html，有什么办法可以做到吗？我被困住了，因为每年都有特定的表格和不同的 html。先感谢您

Answer 1

首先，从select标签中提取options值，得到每年的url：

import requests
from bs4 import BeautifulSoup
import pandas as pd

baseUrl = "https://www.bps.go.id"
dateFrom = 1995
dateTo = 2019

#get the options 
r = requests.get(f"{baseUrl}/indicator/3/1/25/inflasi-umum-.html")
soup = BeautifulSoup(r.text, "html.parser")
years = dict([
    (t.text, t["value"]) 
    for t in soup.find("select").findAll("option") 
    if t.get("value")
])

然后遍历您每年的范围，并使用pandas 提取表，这样您就有一个字典，其中键为年份，Dataframe 为值：

#iterate through years
data = {}
ranges = range(dateFrom, dateTo + 1)
for n in ranges:
  print(f"get data for year {n}")
  r = requests.get(f"{baseUrl}{years[str(n)]}")
  table = pd.read_html(r.text)
  data[str(n)] = table[2]

print(data)

Try this on repl.it