为什么这个 RegEx 没有找到任何数据？

Question

我正在尝试解析/打印来自 twitter 的一些数据。我有一个打印推文的代码，但是当我尝试将相同的代码应用于用户名时，它似乎不起作用。我想在不使用 twitter API 的情况下做到这一点。

这是我打印推文的内容

def main():
    try:
        sourceCode = opener.open('https://twitter.com/search?f=realtime&q='\
                                 +keyWord+'&src=hash').read()
        splitSource = re.findall(r'<p class="js-tweet-text tweet-text">(.*?)</p>', sourceCode)
        print len(splitSource)
        print splitSource
        for item in splitSource:
            print '\n _____________________\n'
            print re.sub(r'<.*?>','',item)



    except Exception, e:
        print str(e)
        print 'error in main try'
        time.sleep(555)

main()

现在要打印用户名信息，我将“opener”更改为“browser”，但它仍会找到并打开页面，所以这不是问题。反正我不觉得。

def main():
    try:
        pageSource = browser.open('https://twitter.com/search?q='\
                                 +firstName+'%20'+lastName+'&src=hash&mode=users').read()
        splitSource = re.findall(r'<p class="bio ">(.*?)</p>', pageSource)
        for item in splitSource:
            print '\n'
            print re.sub(r'<.*?>','',item)
    except Exception, e:
        print str(e)
        print 'error in main try'


main()

它会打印源代码。问题似乎出在：

splitSource = re.findall(r'<p class="bio ">(.*?)</p>', pageSource)

这似乎根本找不到任何东西。这是我试图从中提取信息的来源的副本。

  <div class="content">
    <div class="stream-item-header">
      <a class="account-group js-user-profile-link" href="/BarackObama" >
        <img class="avatar js-action-profile-avatar " src="https://pbs.twimg.com/profile_images/451007105391022080/iu1f7brY_normal.png" alt="" data-user-id="813286"/>
        <strong class="fullname js-action-profile-name">Barack Obama</strong><span class="Icon Icon--verified Icon--small"><span class="u-isHiddenVisually">Verified account</span></span>
          <span class="username js-action-profile-name">@BarackObama</span>


      </a>
    </div>
      <p class="bio ">
          This account is run by Organizing for Action staff. Tweets from the President are signed -bo.
      </p>







  </div>

我觉得这个来源中发生了一些事情，阻止我获取生物信息。间距可能吗？我不知道。

Answer 1

As usual, don't use regex to parse HTML.

实际上，您的'<p class="bio ">' 和'(.*?)' 之间有一个换行符，这意味着您需要使用re.DOTALL 进行匹配，以便. 包含换行符。您也可以使用'<p class="bio ">\s*(.*?)\s*</p>'，因为\s 将匹配换行符（如果存在）。这也将提供更清晰的输出。

import re

pat = re.compile(r'<p class="bio ">\s*(.*?)\s*</p>')
pat.findall(src) # src is your last codeblock from above
## OUTPUT:
['This account is run by Organizing for Action staff. Tweets from the President are signed -bo.']

如果你想使用 BeautifulSoup 选项，Python3 代码如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup(src) # src is your last codeblock from your question
[p_bio.contents.strip() for p_bio in soup('p' class_='bio ')]
## OUTPUT:
['This account is run by Organizing for Action staff. Tweets from the President are signed -bo.']

Answer 2

使用 Regex 解析任意 HTML 非常困难，并且只有在您100% 确定输出会是什么样子时才真正起作用。 That said, as stated in the other really sane (but not as funny answer):

虽然要求正则表达式解析任意 HTML 确实就像要求 Paris Hilton 编写操作系统一样，但有时解析有限的已知 HTML 集是合适的。

如果您想要从一小部分 HTML 页面中抓取数据，然后将其填充到数据库中，那么 regexe 可能会正常工作。例如，我最近想获得澳大利亚联邦代表的姓名、政党和地区，这是我从议会网站上下载的。这是一项有限的一次性工作。

正则表达式对我来说工作得很好，而且设置起来非常快。

这意味着检查源代码，而不是浏览器开发工具中的 DOM。

对于您当前的示例，如前面的示例所述，您没有捕获换行符，因此您需要添加 appropriate regex flags

splitSource = re.findall(r'<p class="bio ">(.*?)</p>', pageSource, flags=re.DOTALL)

更好的解决方案包括使用 HTML 特定工具，例如 BeautifulSoup，因为它们可以处理 HTML 特性。例如，您正在对无序的类名进行正则表达式匹配。

所以这些是相同的 html 声明：

<div class="foo bar">
<div class="bar foo">

但是正则表达式引擎和 XML 解析器在使用相同的查询时都会遇到问题，而 HTML 特定工具可以使用 CSS 选择器来查找它们。