google每日搜索趋势抓取

Question

我已经自学了网页抓取，并想在这里从 Google 每日搜索趋势中抓取数据：https://trends.google.com/trends/trendingsearches/daily?geo=US 这些数据将包括搜索关键词、它们的排名、每天的搜索频率。

我在开始时尝试使用 rvest 库使用 R 进行抓取，但提取命令会抓取空数据。我猜网站的 html 结构比基于 rvest 的复杂吗？所以我想学习可以应用于网站的更好方法。

我搜索了一些特定于每日搜索抓取的信息，但找不到，因为大多数帖子都涉及提取 Google 趋势数据而不是每日搜索。

从网站或更一般的此类网站中提取数据的有效方法是什么？我很高兴学习除 R 之外的任何其他工具，并且具备 Python 和 Javascript 的基本知识。如果有人可以给我一个提示，那么我会深入研究它，但目前我什至不知道从哪里开始。

谢谢，

Answer 1

使用 firefox 中的“inpect element”工具查看 HTML。

本质上，我们可以看到你想从网页中抓取的每个元素都可以根据工具提示轻松区分：

鉴于此，我们可以使用 selenium 抓取网页以检索此信息。

（先用pip3 install -U selenium安装，再安装你喜欢的webdiverfrom the links here）

启动浏览器并使用类似于

的方式将其引导至谷歌趋势页面

╰─ ipython3
Python 3.7.0 (default, Jun 29 2018, 20:13:13)
Type 'copyright', 'credits' or 'license' for more information
IPython 6.5.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: from selenium import webdriver

In [2]: browser = webdriver.Firefox()
   ...: browser.get('https://trends.google.com/trends/trendingsearches/daily?geo=US')

你现在应该看到类似这样的东西：

再次，使用检查元素工具，获取包含要抓取的每个元素的 div 的类：

我们需要找到类名为feed-list-wrapper的div。

In [3]: list_div = browser.find_element_by_class_name("feed-list-wrapper")

In [4]: list_div
Out[4]: <selenium.webdriver.firefox.webelement.FirefoxWebElement (session="b889702e-7e2b-7448-9180-c9fb3d1ff641", element="cad96530-3444-9d4f-a8e8-b7da780f5751")>

完成后，只需获取 div 详细信息列表：

In [5]: details_divs = list_div.find_elements_by_class_name("details")

例如，获取标题（你现在应该理解代码了）

In [6]: for detail_div in details_divs:
    ...:     print(detail_div.find_element_by_class_name("details-top").find_element_by_xpath("div/span/a").text)
    ...:
Captain Marvel
Celia Barquin Arozamena
Yom Kippur
Lethal White
National Cheeseburger Day 2018
Ind vs HK
Mario Kart
Barcelona
Emilia Clarke
Elementary
Angela Bassett
Lenny Kravitz
Lil Uzi Vert
Handmaid's Tale
Mary Poppins Returns trailer
Hannah Gadsby

另一个例子，获取观看次数：

In [7]: for detail_div in details_divs:
    ...:     title = detail_div.find_element_by_class_name("details-top").find_element_by_xpath("div/span/a").text
    ...:     search_count = detail_div.find_element_by_xpath('..').find_element_by_class_name("search-count-title").text
    ...:     print("Title : {title} \t\t\t Searchs : {search_count}".format(title=title, search_count=search_count))
    ...:
Title : Captain Marvel           Searchs : 500 k+
Title : Celia Barquin Arozamena              Searchs : 200 k+
Title : Yom Kippur           Searchs : 100 k+
Title : Lethal White             Searchs : 50 k+
Title : National Cheeseburger Day 2018           Searchs : 50 k+
Title : Ind vs HK            Searchs : 50 k+
Title : Mario Kart           Searchs : 50 k+
Title : Barcelona            Searchs : 50 k+
Title : Emilia Clarke            Searchs : 50 k+
Title : Elementary           Searchs : 20 k+
Title : Angela Bassett           Searchs : 20 k+
Title : Lenny Kravitz            Searchs : 20 k+
Title : Lil Uzi Vert             Searchs : 20 k+
Title : Handmaid's Tale              Searchs : 20 k+
Title : Mary Poppins Returns trailer             Searchs : 20 k+
Title : Hannah Gadsby            Searchs : 20 k+

你应该很快习惯硒。如果你对这里使用的方法有任何疑问，这里是selenium docs的链接