【发布时间】:2022-01-29 11:42:36
【问题描述】:
我想从这个 url 解析表格 - http://portal.ksada.org:8090/time-table/student?id=5598。 我最后需要得到的是某种数据结构。例如,我试图达到的目标:
class Schedule():
date='02.02.2022' # headdate class in html
day='Ср' # headday class in html
lessons=[['1 пара #span lesson', '09:00-10:35', 'КомпКн[Пз]', 'ауд. 304', 'Чайка Л.Е.'],
[...],] # div with class lessons-1 or lessons-2
所以有了它,我会确切地知道有一天会有很多课程。也许它不是最好的解决方案,也许这就是我卡住的原因。 一般来说,我想要的是结构化所有这些东西,这样我就可以得到一天、一周和一个月的课程。我尝试了很多解决方案,然后就卡在那里了。 我现在拥有的是这段代码:
url = 'http://portal.ksada.org:8090/time-table/student?id='
id = 5598
def get_data(url, id):
page = requests.get(url+id)
soup = BeautifulSoup(page.text, 'lxml')
table = soup.select_one('table')
items = []
for tr in table.select('tr'):
th_list = tr.select('th')
td_list = tr.select('td')
for th in th_list:
print(th.text)
for td in td_list:
print(td.text.strip().replace(' ', ''))
我也尝试过找到每一天之间的“距离”,就像这样:
def get_data(url, id):
page = requests.get(url+id)
soup = BeautifulSoup(page.text, "html.parser")
table = soup.find('table')
tbody = table.find_all('tr')
for i, t in enumerate(tbody):
if t.find('th', class_='headday'):
days.append(i)
并像这样使用它:
for i, d in enumerate(days[:-1]):
for t in tbody[days[i]:days[i+1]]:
我只是不知道如何以某种方式很好地制作这个。
【问题讨论】:
-
如果你对 pandas 持开放态度,你可以通过
import pandas as pd阅读表格,然后table_list=pd.read_html('http://portal.ksada.org:8090/time-table/student?id=5598') table_list[0].head(20) # this is table structure。不过,您仍然需要进行一些数据整理。 -
谢谢,听起来不错。但我之前没有使用过 pandas,所以我什至无法想象如何包装所有这些数据。你能给我一些建议吗?
-
或者我如何按周名称拆分所有这些数据?为了更好地理解:{'Monday':'Пн', 'Tuesday':'Вт', 'Wednesday':'Ср', 'Thursday':'Чт', 'Friday':'Пт', 'Saturday': 'Сб', 'Sunday':'Нд'} 所以顶部是作为标题的日期以及依赖于该日期的所有行。
-
谢谢,Bohdan,这些信息有助于了解当时的情况!
标签: python data-structures beautifulsoup html-table lxml