如何从大多数网站获取 Twitter 链接 - Python答案

【问题标题】：How to grab twitter link from most websites - Python如何从大多数网站获取 Twitter 链接 - Python
【发布时间】：2018-02-10 19:17:50
【问题描述】：

我正在构建一个网络爬虫，它会扫描网站以查找 twitter 链接。我不熟悉美丽的汤，我很难过。我曾尝试使用正则表达式来解析页面的整个 HTML，但效果不如漂亮的汤。目前，我的代码抓取了一个网站并尝试将其解析为 twitter URL。

当然，我知道这并不总是有效，但现在一切都返回为 None 并且永远不会返回 twitter 链接，尽管我知道这些网站包含它们。此外，每 5 个链接我通常也会收到错误：

AttributeError: 'NoneType' object has no attribute 'group'

我专门针对它进行了测试。我真的不认为这应该这么难，但考虑到它已经如此，我认为我一定是用美丽的汤制造了一个巨大的根本缺陷，而我只是没有看到。有任何想法吗？

def twitter_grab(url):
    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
    'Accept-Encoding': 'none',
    'Accept-Language': 'en-US,en;q=0.8',
    'Connection': 'keep-alive'}
    req = urllib2.Request(url, headers=hdr)
    response = urllib2.urlopen(req)
    soup = BeautifulSoup(response, 'html.parser')
    links = soup.find_all('a' or 'li')
    for tag in links:
        link = tag.get('href', None)
        if link is not None:
            text = re.search(r'http://www\.twitter\.com/(\w+)', link)
            if text is not None:
                handle = text.group(0)
                print handle
                return(handle)

【问题讨论】：

您能否提供一个示例 url，以便我们查看您要解析的内容，如果您知道并非每个页面都有 twitter 链接，您还需要实现异常。
你不需要所有这些标题，只需要'User-Agent'。你不需要'li'标签。 get 默认返回 None。您的正则表达式仅获取 HTTP 链接。除此之外，我认为您的代码没有任何问题。
随机选择任何有推特的公司网站。 is None 被用来代替异常，应该补偿。 @t.m.adam，'a' 不返回列表中的行，这些行往往具有链接。我遇到的一个例子是 Newyorklife.com
find_all('a') 将在文档中找到所有“a”标签，而不管它们的父标签是什么。 tag.get('href') 默认返回 None。您的正则表达式与 http://twitter.com 或 https://www.twitter.com 不匹配。此外，您的函数将仅返回第一个 handle。
表达式'a' or 'li' 仍然不应该返回更多的“a”标签，而是一个包含“a”和“li”标签的列表。让我看一下html，如果我觉得有用的话我会告诉你的。

标签： python regex beautifulsoup

【解决方案1】：

你通常不需要在漂亮的汤中使用正则表达式，因为每个部分都可以访问，BS 将每个标签作为字典返回，因此你可以将参数作为键访问：

handles = [ a["href"] for a in soup.find_all("a", href=True) if("twitter" in a["href"])]

这将返回所有已超链接的部分。如果一个网站由于某种原因没有写<a/> 标签，这将错过它。

【讨论】：