从 html5 图形或网站中抓取证券交易所数据

Question

我目前正在尝试在 1 或 5 分钟的时间从 stooq.com 网站自动抓取一些证券交易所数据。我尝试使用bs4中的BeautifulSoup获取它，但在网站的表格中找不到它，也无法设法获取html5图表的基础数据。

这是包含 html5 图表的网站的链接： dax_link = 'https://stooq.com/q/a2/?s=^dax&i=1&t=l&a=lg&z=500&ft=201808141221&l=0&d=1&ch=0&f=0&lt=57&r=0&o=1'

我使用 beautifulsoup 尝试了以下方法：

import pandas as pd
import requests
import re
from bs4 import BeautifulSoup as bs

stooq_dax = ('https://stooq.com/q/a2/?s=^dax&i=1&t=l&a=lg'
             '&z=500&ft=201808141221&l=0&d=1&ch=0&f=0&lt=57&r=0&o=1')
reqstdax = requests.get(stooq_dax)
stdax = reqstdax.content
soupstdax = bs(stdax)
tbls_dax = soupstdax.table
df = pd.read_html(str(tbls_dax))

但是 31 个数据帧中没有一个包含任何有用的数据。

我还尝试在网站中查找一些特定值，例如

soupstdax.find_all(text=re.compile('12368'))

这是2018-08-14,15:24:00当时的“打开”值，但找不到。

我当然可以通过单击右下角的 csv 按钮来获取这些值，但这不能自动执行，因为到 csv-generation 的链接是隐藏的（我做到了无法重建它）。

有什么方法可以获取图表的基础数据或找到生成 csv 文件的正确链接？
提前致谢！

Answer 1

如果您在 Chrome 或 FireFox 中检查该网页，您会发现它正在生成 XHR：

https://stooq.com/q/a2/d/?s=^dax&i=1&l=201808141633

您可以直接访问它以获取页面更新的数据：

20180814,163200,12349.80,12350.10,12348.50,12348.50
20180814,163300,12348.5,12350,12348.1,12349.5

这是你想要的数据吗？

更新 看起来初始数据来自这里：

https://stooq.com/q/a2/d/?s=^dax&i=1

而201808141633是一个时间戳（2018/08/14 16:33）