Python BeautifulSoup 相当于 lxml make_links_absolute

Question

所以lxml有一个很手的功能：make_links_absolute：

doc = lxml.html.fromstring(some_html_page)
doc.make_links_absolute(url_for_some_html_page)

现在 doc 中的所有链接都是绝对的。 BeautifulSoup 中是否有一个简单的等价物，或者我只需要通过 urlparse 传递它并对其进行规范化：

soup = BeautifulSoup(some_html_page)
for tag in soup.findAll('a', href=True):
    url_data = urlparse(tag['href'])
    if url_data[0] == "":
        full_url = url_for_some_html_page + test_url

Answer 1

在我对What is a simple way to extract the list of URLs on a webpage using python? 的回答中，我在提取步骤中顺便提到了这一点；你可以很容易地在汤上写一个方法来做，而不仅仅是提取它。

from urllib.parse import urljoin

def make_links_absolute(soup, url):
    for tag in soup.findAll('a', href=True):
        tag['href'] = urljoin(url, tag['href'])

（Python 2：from urlparse import urljoin.）