使用 requests.get 或 scrapy 抓取链接后看不到某些数据

Question

我正在尝试从 a stock exchange website 抓取数据。具体来说，我需要阅读左上角表格中的数字。如果您检查 html 页面，您将在 <div> 标记下看到这些数字，在 <td> 标记之后，id 是 "e0"、"e3"、"e1" 和 "e4"。但是，响应一旦保存到文本文件中，就会缺少所有这些数字和其他一些数字。我曾尝试使用 selenium 并有 20 秒的延迟（以便加载 javascript），但这不起作用并且找不到元素。 这个问题有解决办法吗？

Answer 1

如果您使用检查元素 > 网络 > XHR 过滤器，您将看到发送数据的页面：

在你的情况下，这是这个链接：http://www.tsetmc.com/tsev2/data/instinfofast.aspx?i=7745894403636165&c=23%20。

不幸的是，数据排列不当，因此您必须查看答案中的哪个位置是您感兴趣的数据。祝你好运。