获取谷歌搜索结果和清理HTML标签的建议答案

【问题标题】：Suggestions for obtaining Google search results and cleaning HTML tags获取谷歌搜索结果和清理HTML标签的建议
【发布时间】：2011-09-16 02:33:11
【问题描述】：

我正在做一个项目来获取谷歌搜索网页，然后清理 HTML 标签以获得纯文本内容。

对可用工具（尤其是 Python 工具）的任何建议

非常感谢。

【问题讨论】：

建议：继续搜索 HTML Parsing 和 Python。例如stackoverflow.com/search?q=html+parsing+%5Bpython%5D 有很多关于如何进行的提示。
我对一件事很好奇...您是故意不使用 Google 的自定义搜索 API 吗？它将为您提供比搜索结果的 HTML 更稳定的结果集，其格式不能保证在请求后保持相同的请求。
我的目标是获取 Google 找到的网页并提取其文本内容。我对 Google 自定义搜索 API 非常陌生（今晚将学习它）。

【解决方案1】：

我会查看Pattern，这是一个 Python 网络挖掘模块，提供了一套文本检索、分析和可视化工具。我没有亲自使用它，但看起来很强大。

Module pattern.web 是一个网络工具包，它将各种 API（Google、Gmail、Bing、Twitter、维基百科、Flickr）与强大的 HTML 解析器和网络蜘蛛捆绑在一起。其目的是以易于使用、统一的方式检索在线内容。

【讨论】：

【解决方案2】：

Python 有一个内置的，实际上非常快，发现 here。还有一个名为Beautiful Soup 的功能非常强大，它提供了额外的功能，尤其是对于 HTML 抓取。

不过，我还要问为什么不用搜索 API？

【讨论】：

刚刚发现了一个很酷的python脚本link它提供了一种从谷歌获取搜索结果的简单方法。另外，作者警告我们不要在公司代理的后面工作，因为谷歌每天只允许每个帐户 100 次自定义搜索。

【解决方案3】：

终于找到了一套不错的套房BootCat。

【讨论】：