【问题标题】:web page without html tables into dataframe python没有html表格的网页进入数据框python
【发布时间】:2018-03-26 14:18:39
【问题描述】:

我只是想放这个网页的数据(http://smartpro-data.rwth-aachen.de):

web page

放入一个看起来应该完全相同的数据框。

有什么建议吗?

有没有可能只取一定数量的行?因为它的网页每 5 秒左右刷新一次,我想将数据放入流式仪表板。因此,第一次读取所有行,然后每隔几秒钟更新一次仪表板,只读取前几行会很有帮助。

提前感谢您的帮助 克温

【问题讨论】:

  • 首先,作为示例,您可以将内容复制到.txt 文件中,然后逐行提取它,并按列re 库将它们拆分。从here和here开始
  • 嘿,感谢您的回答 :) “将内容复制到“.txt”文件中”是我正在努力解决的问题
  • 这很简单。您正在寻找的图书馆是urlopen。 This 就足够了。
  • 谢谢。唯一的问题是我看不到 Bpm 的值,我只得到每行:Bpm:
    Sun Jan 10 11:29:47 2016 : Fix: G3 Coord: 5046.0588 606.1884 #Sat:9
  • 好的,等一下我会发布一个解决方案(希望如此)。

标签: python frame webpage


【解决方案1】:

直接从网站读取 HTML 数据

首先加载页面,然后将其转储到list:

import requests
import re

url = 'http://smartpro-data.rwth-aachen.de/'
html = requests.get(url)
text = html.text.splitlines()  # reads text and splits by newspaces

好的,现在它需要一些修补。如果您查看 text[0],您将看到它包含两个由<br> 分隔的字符串。我们希望从每个字符串中省略每个存在的 HTML 标记。我们通过定义 function 来做到这一点:

def cleanhtml(raw_html):
   cleanr = re.compile('<.*?>')
   cleantext = re.sub(cleanr, '', raw_html)
   return cleantext

data = []
for line in text:
   data.append(cleanhtlm(line))
del html, text  # releases RAM

这最终会给你这样的东西:

['Sat Oct 14 20:20:37 2017 : Fix: G3 Coord: 50.9355 6.9443 #Sat:8 Bpm: 156'
'Sat Oct 14 20:20:23 2017 : Fix: G3 Coord: 50.9353 6.9443 #Sat:7 Bpm: 164',
...]

如果您愿意,可以稍后将data 放入pandas.DataFrame 或numpy.array。首先复制.txt 中的内容已经过时了……

顺便说一下,网站上发布的数据本身是有偏差的:

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-12-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-03
    相关资源
    最近更新 更多