将 URL 转换为 HTML 代码

【问题标题】：converting a URL to an HTML code将 URL 转换为 HTML 代码
【发布时间】：2018-07-03 05:26:41
【问题描述】：

有没有办法获取 URL 的整个 HTML 代码？我看到了一些 PDF 的在线转换，但我想知道是否可以将其转换为 HTML。我可以获取 HTML 代码并随意使用它，但我想尝试使用 URL 做同样的事情。

【问题讨论】：

httrack 可以解决您的需求。
@Manmohan_singh 我可以在我的代码中使用它吗？
为什么不直接使用httpclient？
我不确定你到底在问什么。 URL 不一定引用 html 页面。例如，图像文件的“HTML 代码”是什么？
@Fildor 我在询问引用 HTML 代码的 URL。

【解决方案1】：

如果您想进入代码，请使用Selenium webdriver API。它将启动一个驱动程序实例，您可以通过该实例启动一个 URL 并提取 页面源。欲了解更多信息，请访问selenium HQ。用于抓取网页的 python 代码 sn-p 如下所示。

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://www.seleniumhq.org')

html = driver.page_source
soup = BeautifulSoup(html)

print soup.find_all("td", class_="td1_normal_class")

【讨论】：