【发布时间】:2021-12-26 14:07:52
【问题描述】:
我正在抓取这个网站“https://www.sbp.org.pk/ecodata/index2.asp”。然后使用下面的代码,我抓取文本和日期。现在我只想要今天的日期。
import datetime
import requests
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame
import datetime as dt
url = "https://www.sbp.org.pk/ecodata/index2.asp"
r=requests.get(url)
htmlContent = r.content
soup = BeautifulSoup(htmlContent, 'html.parser')
now = datetime.datetime.today()
data=[]
for c in soup.find_all("td"):
data.append(c.text.strip())
data
# here I am scraping the only dates from the text
date_today = []
for _ in data:
try:
data_date = dt.datetime.strptime(_, '%b %d, %Y')
data3=data_date.date()
print(data3)
date_today.append(data_date.date())
except ValueError:
continue
date_today
for d in date_today:
if d == now:
df = pd.DataFrame({'abc':d})
print (df)
else:
print("no update")
这是代码。 date_today 变量包含日期。现在我只想要今天的日期,然后将其放入数据框中。 date_today 是列表形式
【问题讨论】:
标签: python beautifulsoup screen-scraping