我使用了 nutch 和 scrapy。他们需要种子 URL 才能抓取。这意味着，人们应该已经知道将包含正在搜索的文本的网站/网页。
我的情况不同，我没有关于包含我正在搜索的文本的网站/网页的先验信息。所以我将无法使用种子 URL 被 nutch 和 scrapy 等工具抓取。
有没有办法在不知道任何可能包含该文本的网站/网页的情况下抓取给定文本的网站/网页？
【问题讨论】：
标签： python web-scraping scrapy screen-scraping nutch
你可以解析the commoncrawl dataset。它包含数十亿个网页。他们的网站包含有关如何使用 MapReduce 进行操作的示例。 除此之外，任何网络爬虫都需要有一些起点。
【讨论】：
你可以使用 requests 模块来获取数据。
在下面的示例中，我从所有包含“pizza”字样的网站获取数据。
import requests
url = 'http://www.google.com/search'
my_headers = { 'User-agent' : 'Mozilla/11.0' }
payload = { 'q' : 'pizza', 'start' : '0' }
r = requests.get( url, params = payload, headers = my_headers )
您可以使用 BeautifulSoup 库从检索到的数据（HTML 数据）中提取任何类型的信息
from bs4 import BeautifulSoup
soup = BeautifulSoup( r.text, 'html.parser' )
现在如果你想要文本数据，你可以使用这个函数
soup.getText()
【讨论】：
您可以使用 Google 搜索 API (https://developers.google.com/custom-search/json-api/v1/overview?csw=1) 每天进行 100 次免费查询。搜索结果将采用 JSON 格式，您可以使用该格式将链接提供给您的爬虫。
【讨论】：