【问题标题】:How to get data to crawl reviews from any url page如何获取数据以从任何 url 页面抓取评论
【发布时间】:2019-08-22 13:35:30
【问题描述】:

假设您有一个 Play 商店 cmets 页面,其中有数百人定期发表评论。我的想法是不仅在同一页面上而且在您滚动时也从 play store cmets 页面获取数据。 所以应该采取 评论页面的所有数据 谁评论过它? 他是否给出了任何评价。 包括他/她的照片。

我该如何解决这个问题以及我可以使用哪些工具来解决这个问题? 分享所有链接,我可以在其中阅读有关此类问题陈述的更多信息。

【问题讨论】:

    标签: python web-scraping scrapy web-crawler


    【解决方案1】:

    我会使用scrapy 对ajax URL 进行循环请求。根据可用的数据,终止循环的逻辑可以通过多种方式处理。

    1. 如果每个响应列表的长度预计为 N cmets,而您收到的响应少于 N cmets,则中断
    2. 如果有可用的总 cmets 值,则翻页直到请求的页面数等于 cmets 总数除以每页的 cmets 数。
    3. 存在其他解决方案

    How to scrape all contents from infinite scroll website? scrapy

    Scraping Infinite Scrolling Pages with "load more" button using Scrapy

    https://stackoverflow.com/search?q=scrapy+infinite+scroll

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-07-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-12-09
      • 1970-01-01
      相关资源
      最近更新 更多