【问题标题】:Get subdomain from URL using Python使用 Python 从 URL 获取子域
【发布时间】:2011-10-19 01:01:55
【问题描述】:

比如地址是:

Address = @987654321@

我想将子域保存到一个变量中,这样我就可以这样做;

print SubAddr
>> lol1

【问题讨论】:

标签: python string url


【解决方案1】:

包tldextract 使这项任务变得非常简单,如果您需要更多信息,可以按照建议使用urlparse:

>> import tldextract
>> tldextract.extract("http://lol1.domain.com:8888/some/page"
ExtractResult(subdomain='lol1', domain='domain', suffix='com')
>> tldextract.extract("http://sub.lol1.domain.com:8888/some/page"
ExtractResult(subdomain='sub.lol1', domain='domain', suffix='com')
>> urlparse.urlparse("http://sub.lol1.domain.com:8888/some/page")
ParseResult(scheme='http', netloc='sub.lol1.domain.com:8888', path='/some/page', params='', query='', fragment='')

请注意,tldextract 可以正确处理子域。

【讨论】:

  • 这应该是答案。谢谢。
  • 很好的答案,应该被评为最佳答案 :) 谢谢 Lluis
【解决方案2】:

urlparse.urlparse 会将 URL 拆分为协议、位置、端口等。然后您可以通过 . 拆分位置以获得子域。

url = urlparse.urlparse(address)
subdomain = url.hostname.split('.')[0]

【讨论】:

  • 效果很好。我像这样使用它 Node = urlparse.urlparse(address).hostname.split('.')[0]
  • 如果是IP地址呢?如果它有一个二级子域呢?
  • 子域可能包含多个点,因此api.test 也是有效的,请记住这一点。如果你想要一个好的包来做这个检查https://pypi.python.org/pypi/tldextract。
  • 这实际上是一个非常糟糕的答案。如果没有子域,它会失败,而是返回域。 IP 地址失败(好的,很好),并且多个子域失败,例如web.host1.google.com。
  • 在python 3.x中你需要通过from urllib.parse import urlparse导入这个
【解决方案3】:

此处精彩答案的修改版:How to extract top-level domain name (TLD) from URL

您将需要来自here的有效 tld 列表

from __future__ import with_statement
from urlparse import urlparse

# load tlds, ignore comments and empty lines:
with open("effective_tld_names.dat.txt") as tldFile:
    tlds = [line.strip() for line in tldFile if line[0] not in "/\n"]

class DomainParts(object):
    def __init__(self, domain_parts, tld):
        self.domain = None
        self.subdomains = None
        self.tld = tld
        if domain_parts:
            self.domain = domain_parts[-1]
            if len(domain_parts) > 1:
                self.subdomains = domain_parts[:-1]

def get_domain_parts(url, tlds):
    urlElements = urlparse(url).hostname.split('.')
    # urlElements = ["abcde","co","uk"]
    for i in range(-len(urlElements),0):
        lastIElements = urlElements[i:]
        #    i=-3: ["abcde","co","uk"]
        #    i=-2: ["co","uk"]
        #    i=-1: ["uk"] etc

        candidate = ".".join(lastIElements) # abcde.co.uk, co.uk, uk
        wildcardCandidate = ".".join(["*"]+lastIElements[1:]) # *.co.uk, *.uk, *
        exceptionCandidate = "!"+candidate

        # match tlds: 
        if (exceptionCandidate in tlds):
            return ".".join(urlElements[i:]) 
        if (candidate in tlds or wildcardCandidate in tlds):
            return DomainParts(urlElements[:i], '.'.join(urlElements[i:]))
            # returns ["abcde"]

    raise ValueError("Domain not in global list of TLDs")

domain_parts = get_domain_parts("http://sub2.sub1.example.co.uk:80",tlds)
print "Domain:", domain_parts.domain
print "Subdomains:", domain_parts.subdomains or "None"
print "TLD:", domain_parts.tld

给你:

域:示例 子域:['sub2', 'sub1'] 顶级域名:co.uk

【讨论】:

【解决方案4】:

一种非常基本的方法,没有任何健全性检查,如下所示:

address = 'http://lol1.domain.com:8888/some/page'

host = address.partition('://')[2]
sub_addr = host.partition('.')[0]

print sub_addr

这当然假设当您说“子域”时,您指的是主机名的第一部分,因此在以下情况下,“www”将是子域:

http://www.google.com/

你是这个意思吗?

【讨论】:

    【解决方案5】:

    您正在寻找的是: http://docs.python.org/library/urlparse.html

    例如: ".".join(urlparse('http://www.my.cwi.nl:80/%7Eguido/Python.html').netloc.split(".")[:-2])

    将为您完成这项工作(将返回“www.my”)

    【讨论】:

    • 这假设主域名有两个部分 - 在某些情况下会下降,例如.co.uk 地址。除了英国,以色列、巴西和日本都有正式的二级域名,而且可能还有其他。
    • 我的回答使用有效 TLD 列表来解决这个问题。
    【解决方案6】:

    为了提取主机名,我会使用来自 urllib2 的 urlparse:

    >>> from urllib2 import urlparse
    >>> a = "http://lol1.domain.com:8888/some/page"
    >>> urlparse.urlparse(a).hostname
    'lol1.domain.com'
    

    至于如何提取子域,您需要考虑 FQDN 可能更长的情况。你如何做到这一点取决于你的目的。我可能会建议剥离最右边的两个组件。

    例如

    >>> urlparse.urlparse(a).hostname.rpartition('.')[0].rpartition('.')[0]
    'lol1'
    

    【讨论】:

      【解决方案7】:

      我们可以使用https://github.com/john-kurkowski/tldextract 来解决这个问题...

      这很容易。

      >>> ext = tldextract.extract('http://forums.bbc.co.uk')
      >>> (ext.subdomain, ext.domain, ext.suffix)
      ('forums', 'bbc', 'co.uk')
      

      【讨论】:

        【解决方案8】:

        tldextract 将 TLD 与 URL 的注册域和子域分开。

        安装

        pip install tldextract
        

        对于当前问题:

        import tldextract
        
        address = 'http://lol1.domain.com:8888/some/page'
        domain = tldextract.extract(address).domain
        print("Extracted domain name : ", domain)
        

        输出:

        Extracted domain name :  domain
        

        另外,there 是一些与 tldextract.extract 端的使用极为相关的例子。

        【讨论】:

          【解决方案9】:

          首先导入 tldextract,因为这会将 URL 拆分为其组成部分,例如:子域。域和后缀。

          import tldextract
          

          然后声明一个存储查询结果的变量(比如 ext)。我们还必须为它提供带有双引号的括号中的 URL。如下图:

          ext = tldextract.extract("http://lol1.domain.com:8888/some/page")
          
          

          如果我们只是尝试运行 ext 变量,输出将是:

          ExtractResult(subdomain='lol1', domain='domain', suffix='com')
          

          如果您只想使用子域或域或后缀,请分别使用以下任何代码。

          ext.subdomain
          

          结果将是:

          'lol1'
          
          ext.domain
          

          结果将是:

          'domain'
          
          ext.suffix
          
          

          结果将是:

          'com'
          

          另外,如果您只想将子域的结果存储在变量中,请使用以下代码:

          Sub_Domain = ext.subdomain
          

          然后打印子域

          Sub_Domain
          

          结果将是:

          'lol1'
          

          【讨论】:

            【解决方案10】:

            使用python 3(具体来说我使用的是3.9),你可以做到以下几点:

            from urllib.parse import urlparse
            
            address = 'http://lol1.domain.com:8888/some/page'
            
            url = urlparse(address)
            
            url.hostname.split('.')[0]
            

            【讨论】:

              猜你喜欢
              • 2010-09-22
              • 2014-04-28
              • 2011-03-13
              • 1970-01-01
              • 2019-09-10
              • 2012-08-28
              • 2013-11-13
              • 2015-03-23
              相关资源
              最近更新 更多