如何从该页面获取链接？答案

【问题标题】：how to get the links from this page?如何从该页面获取链接？
【发布时间】：2017-02-12 09:43:07
【问题描述】：

这个页面有一些数据：

$ scrapy shell 'https://www.catalogs.ssg.asia/toyota/?lang=en#bWFya2V0PT1nZW5lcmFsfHxzdD09MjB8fHN0cz09eyIxMCI6IlJlZ2lvbiIsIjIwIjoiTWlkZGxlIEVhc3QifQ%3D%3D'

我无法从这个表中抓取 url，每次我尝试用这个选择它时，我都会得到一个空集。

response.css('tr[class=over]').extract()

【问题讨论】：

初始页面源中不存在所需的表，而是动态生成的。在这种情况下，我不确定您是否可以使用 scrapy。尝试使用selenium 获取数据。您还应该更加注意问题的质量。检查此stackoverflow.com/help/how-to-ask 以获得更多好的答案...

标签： xpath web-scraping scrapy scrapy-spider

【解决方案1】：

用view(response)打开电脑上scrapy下载的HTML，你会发现没有table。

scrapy 只返回 HTML 代码，当数据由 JavaScript 生成时，scrapy 不会返回。

【讨论】：