【问题标题】:Python Regex URL from Website / Raw Website without Https & Http [duplicate]来自网站/原始网站的 Python 正则表达式 URL,没有 Https 和 Http [重复]
【发布时间】:2019-02-19 23:00:32
【问题描述】:

我有这样的python代码

#! /usr/bin/python
from url parse import urlparse
url = 'https://pastebin.com/raw/EgGZmEqY'
parsed = urlparse(url)
site = parsed.netloc
print site

我想要网站是 RAW 还是不只是在没有 HTTPS 和 HTTP 或 WWW 的情况下抓取网站。例如,我有来自 RAW 的这样的网站。我想在没有

的情况下只获取 example.com 的 URL
https://example.com
http://example.com
www.example.com
example.com

没有 https,http 和 www 怎么办? 谢谢!

【问题讨论】:

    标签: python


    【解决方案1】:

    我认为您只需要没有子域或方案的 TLD(域名)。

    来自this Stackoverflow 的回答,看来您只需要:

    import tldextract
    tldextract.extract('http://forums.news.cnn.com/')
    ExtractResult(subdomain='forums.news', domain='cnn', suffix='com') 
    

    那么,在你的情况下,我会使用这个: #!/usr/bin/env python3

    import tldextract
    
    url = 'https://www.pastebin.co.uk/raw/EgGZmEqY'
    
    parsed = tldextract.extract(url)
    domain = parsed.domain + '.' + parsed.suffix
    
    
    
    print (domain)
    

    【讨论】:

    • 您应该提供与 OP 的确切数据一起使用的代码。从另一个问题剪切和粘贴并没有多大帮助。
    • 但这仅适用于一个域.. 我想如何从原始/另一个网站获取它?就像在我的 pastebin 链接中一样。
    猜你喜欢
    • 1970-01-01
    • 2012-01-29
    • 2017-07-25
    • 1970-01-01
    • 2020-03-08
    • 1970-01-01
    • 2011-12-02
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多