python通过获取url动态方式进行抓取

Question

我是数据抓取领域的新手，以前使用 python 进行 Web 和桌面应用程序开发。 我只是想知道，是否有任何方法可以从页面获取网址，然后查看具体信息，例如电话号码、地址等。

目前我正在使用 BeautifulSoup 和构建方法，我将 url 作为方法的参数。

我正在抓取的网站很大，很难为每个页面传递特定的 url。

有什么建议可以让它更快和自我驱动吗？

提前致谢。

Answer 1

您可以使用Scrapy。它简化了抓取和解析（默认使用libxml2 进行解析）。

Answer 2

使用更高效的 HTML 解析器，例如 lxml。 See here 用于各种 Python 解析器的性能比较。