使用 Python 抓取与 Google 趋势 API答案

【问题标题】：Scraping vs Google Trends API using Python使用 Python 抓取与 Google 趋势 API
【发布时间】：2020-04-08 10:34:26
【问题描述】：

我正在尝试在 Google 趋势上按类别收集过去一年中每种趋势的前五个搜索查询。

我不知道我是否应该使用诸如pytrends 之类的python 库来执行此操作，从他们的文档中需要一个关键字才能查询GT，或者我没有任何特定的关键字，我想获取任何可找到的每个类别的词条的搜索查询。

使用 scraping 库 Selenium 或 Beautifulsoup4 直接从 GT website 收集此信息。

这样做的目标是能够在以后检索每个查询的前 5 个网站...

我应该往哪个方向走？

【问题讨论】：

【解决方案1】：

最好使用其中一种非官方 API。

它们连接到 Google 内部 API，这些 API 为 Trends UI 提供结构化信息。但抓取只会返回大部分非结构化 HTML，您需要自己提取结构化数据。这些信息不会那么可靠或不完整。

这是通过用于“机器对机器”通信的 API 与用于“机器对人”交互的 Web UI 进行交谈之间的区别。

【讨论】：