【发布时间】：2021-03-26 04:26:02
【问题描述】：
我想知道是否可以使用 python 中的常用爬虫 api 查找关键字并检索包含该关键字的页面。例如，如果我查找“堆栈溢出”，它将在 HTML 文件中找到关键字“堆栈溢出”的页面。我已经查看了 api，但我只能进行 URL 查找 - 而不是关键字。感谢您提前回复！
【问题讨论】：
标签： python api web-crawler keyword-search common-crawl
【发布时间】：2021-03-26 04:26:02
【问题描述】：
如果我是你，我不会为此使用 CommonCrawl。要使用 CommonCrawl，您必须遍历 整个 CommonCrawl-Dataset。那是 28 亿个网页！
我建议的替代方法是使用 Microsoft 的 Bing WebSearch-API。您将获得一个易于使用的 API，每月可免费使用 1000 次。
通过此 API 进行搜索会产生包含查询关键字的网页。从那里，您可以下载网页的 html 源代码并在 python 中再次遍历它以查找关键字的所有用途。
【讨论】：
-
我打算尽量避免在这个项目中使用现有的搜索引擎，但这是一个开始。
-
我可以看到你来自哪里......因为 CommonCrawl 很遗憾没有这个功能，你几乎只有一个选择。您可以下载整个数据集 (200TB) 并为每个单词创建一个索引，在里面使用。当然，您可能需要 200TB 和几周的计算时间，但如果您有这些资源，那就去吧！