如何在 Flipkart 中抓取移动评论的数据？答案

【问题标题】：How to Scrape data for mobile reviews in flipkart?如何在 Flipkart 中抓取移动评论的数据？
【发布时间】：2017-11-27 17:00:44
【问题描述】：

如何从 Flipkart 中删除移动评论数据

我尝试使用 selenium 包，但除了一条评论之外，无法一目了然地提取所有评论，所以任何人都可以帮助我编写代码...

fk_path = ('[https://www.flipkart.com/moto-g-turbo-white-16-gb/product-
 reviews/itmecc4uhbue7ve6?pid=MOBECC4UQTJ5QZFR][1]')  
 from selenium import webdriver
 browser = webdriver.Chrome('/home/subhasis/chromedriver')  
 browser.get(fk_path)  
 browser.find_element_by_xpath("//span[@class='_1EPkIx']/span").click()  
 # Mimick clicking on 'Read More'
 [p.click() for p in browser.find_elements_by_xpath("//span[@class='_1EPkIx']/span")] # Expand 
 all 'Read More' buttons 
 browser.find_element_by_xpath("//div[@class='_3DCdKt']//div[@class='qwjRop']/div").text  
# Extract texts from respective Xpaths (1st review)

【问题讨论】：

标签： python

【解决方案1】：

尝试打开像 firefox / chrome 这样的浏览器并检查 xpath 选择。

$x('//div[@class="col"]')
$x('//div[@class="col"]/*/*/p/text()')

考虑给浏览器一些时间来加载所有额外的 javascript，然后再快速点击，这也可以防止由于快速发出如此多的请求而被阻止而可能发生的任何超时，请考虑在点击“阅读更多”：

time.sleep(1)

原因是点击阅读更多时它看起来可能会发出网络请求。

【讨论】：