【问题标题】:how to scrape Tripadvisor dynamically using scrapy and python如何使用 scrapy 和 python 动态抓取 Tripadvisor
【发布时间】:2023-03-13 04:35:01
【问题描述】:

我正在尝试抓取 TripAdvisor 的评论,但我找不到 Xpath 让它动态浏览所有页面。我尝试了yield 和回调,但问题是我找不到转到下一页的行的 xpath。我说的是This site

这是我的代码(已更新):

from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy.http import Request
from scrapingtest.items import ScrapingTestingItem


class scrapingtestspider(Spider):
    name = "scrapytesting"
    allowed_domains = ["tripadvisor.in"]
    base_uri = "tripadvisor.in"
    start_urls = [
        "http://www.tripadvisor.in/Hotel_Review-g297679-d300955-Reviews-Ooty_Fern_Hill_A_Sterling_Holidays_Resort-Ooty_Tamil_Nadu.html"]

    output_json_dict = {}
    def parse(self, response):

        sel = Selector(response)
        sites = sel.xpath('//a[contains(text(), "Next")]/@href').extract()
        items = []
        i=0
        for sites in sites:
            item = ScrapingTestingItem()
            #item['reviews'] = sel.xpath('//p[@class="partial_entry"]/text()').extract()
            item['subjects'] = sel.xpath('//span[@class="noQuotes"]/text()').extract()
            item['stars'] = sel.xpath('//*[@class="rate sprite-rating_s rating_s"]/img/@alt').extract()
            item['names'] = sel.xpath('//*[@class="username mo"]/span/text()').extract()
            items.append(item)
            i+=1
            sites = sel.xpath('//a[contains(text(), "Next")]/@href').extract()

            if(sites and len(sites) > 0):
                yield Request(url="tripadvisor.in" + sites[i], callback=self.parse)
            else:
                yield items

【问题讨论】:

  • 您的代码中没有错误吗?我得到了一个IndexError,因为网站的索引非常大......
  • 这是为什么还是因为列表中只有 1 个链接?我确实得到了一个错误。但我认为有 70 页并不重要
  • 我在scrapy shell中测试了它,它循环通过了吗?

标签: python python-2.7 xpath web-scraping scrapy


【解决方案1】:

如果你想选择 Next 后面的 URL 为什么不试试这样的:

next_url = response.xpath('//a[contains(text(), "Next")]/@href).extract()

然后yield 带有此 URL 的请求?有了这个,您总是可以抓取下一个站点,并且不需要包含数字的行。

最近我在tripadvisor 上做了类似的事情,这种方法对我有用。如果这对您不起作用,请使用您尝试查看可以在哪里获得批准的方法更新您的代码。

更新 并将您的 Request 创建块更改为以下内容:

if(sites and len(sites) > 0):
    for site in sites:
        yield Request(url="http://tripadvisor.in" + site, callback=self.parse)

当方法完成每次解析时,删除循环末尾的else 部分和yield items。

【讨论】:

  • 出现错误,表示列表索引超出范围。我在 scrapy shell 中测试了 Xpath,我也只得到了一个站点地址。我将更新我上面的代码。
  • 还有为什么它是一个列表,它说我不能 concant str 并列出这就是为什么我有 i+=1 和 sites[i]
  • 您的方法与列表有点问题。您增加了i,但它与sites 数组无关。您可以使用这种方法简单地达到越界索引。查看更新后的代码——它更正确地使用了列表。
  • 哇,谢谢。它就像一个魅力。我的互联网账单正在遭受大声笑
  • 尝试使用yield item 而不是将其添加到items 列表中。然后它应该可以工作,您可以从代码中删除该列表。
【解决方案2】:

我认为只有在 .txt 文件中列出要废弃的 url 列表时才能使用。

class scrapingtestspider(Spider):
    name = "scrapytesting"
    allowed_domains = ["tripadvisor.in"]
    base_uri = "tripadvisor.in" 

    f = open("urls.txt")
            start_urls = [url.strip() for url in f.readlines()]
            f.close()

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-27
    • 1970-01-01
    • 1970-01-01
    • 2019-10-27
    • 1970-01-01
    相关资源
    最近更新 更多