无法使用 Scrapy 连接“str”和“NoneType”对象

Question

我正在尝试从该网站https://www.gumtree.co.za 抓取信息，但是我不确定如何获取该属性的 URL。

这就是我所拥有的：

class GumtreeSpider(scrapy.Spider):
    name = "gumtree"
    start_urls = ['https://www.gumtree.co.za/s-house-rentals-flat-rentals-offered/cape-town/v1c9071l3100006p1',
                  'https://www.gumtree.co.za/s-houses-flats-for-sale/cape-town/v1c9074l3100006p1']

    def parse(self, response):

        for prop in response.css('div.tileV1'):
            link = 'https://www.gumtree.co.za' + prop.css('div.title  a.tile-title-text::attr(href)').get()

我尝试了多种组合，但似乎无法正确使用。有什么建议么？ 谢谢！

Answer 1

你想在页面中准确地抓取什么？顶部轮播中的广告列表？

如果是，您需要查看 Javascript XHR 请求，它们是动态加载的，因此您必须检查不同的请求以找到您想要的。