如何使用 r 在谷歌学者上下载搜索结果？答案

【问题标题】：How to download search results on google scholar using r?如何使用 r 在谷歌学者上下载搜索结果？
【发布时间】：2011-06-27 17:15:52
【问题描述】：

我想使用 R 提取 Google Scholar 搜索的前 100 个结果（例如）。有人知道该怎么做吗？

准确地说，我只需要论文的名称、作者和引用次数。

Ps 这合法吗？

【问题讨论】：

Google 学者好像缺少nice API
回复您的 PS：我查看了“关于”页面 (scholar.google.ca/intl/en/scholar/about.html) 并没有看到任何明确的使用条款
还有tonybreyal.wordpress.com/2011/11/08/…
还有更新：tonybreyal.wordpress.com/2011/11/08/…
不是一个严格的答案，但我建议学习 Python 来完成网络抓取任务。即使您不打算将它用于统计编程，根据我的经验，它也更容易抓取，并且您可以使用更多参考资料。我花时间在 R 上学习它，绝对不认为这是浪费时间。

标签： r google-scholar

【解决方案1】：

我无法谈论您的任务的合法性，但您可以通过几种方式来解决此问题。虽然我不擅长 XPath，但它可能是最好的方法。我相信您可以使用 XML 包来检索页面内容，并使用 XPath 来提取您需要的元素的数据。

例如，我使用 Chrome 作为浏览器，当我使用开发人员工具检查页面时，页面似乎确实有一个结构，数据“隐藏”在各种标签中，你应该能够利用这些标签使用 XPath 真的很容易。

查看link 以获取使用 XPath 的示例。

HTH 祝你好运

【讨论】：

谢谢，我看看链接。

【解决方案2】：

您绝对可以按照 Btibert3 的建议使用 RCurl 检索页面的 HTML 内容并使用 RXML 解析它们。您可能面临的唯一问题是 Google 不允许您以“机器人”方式进行查询。在短时间内在 Google 中进行了 200 次查询后，它将不再返回结果。也许这与 Google Scholar 不同，但我怀疑......

【讨论】：

【解决方案3】：

有一些 Python 和 Perl 抓取工具可供您使用，链接地址为 http://bmb-common.blogspot.com/2011/02/does-google-scholar-suck-or-am-i-just.html

【讨论】：

【解决方案4】：

最近在这里发布了一个解决方案：

http://thebiobucket.blogspot.com/2011/11/visually-examine-google-scholar-search.html

【讨论】：

【解决方案5】：

请考虑更新后的 biobucket-post：

http://thebiobucket.blogspot.com/2011/11/r-function-google-scholar-webscraper.html

【讨论】：

抱歉，由于 GoogleScholar 上的更改，theBioBucket 上的脚本已经过时 - 不知道我什么时候有机会修复它..