使用 python re.compile 和漂亮的汤来匹配一个字符串答案

【问题标题】：Using python re.compile with beautiful soup to match a string使用 python re.compile 和漂亮的汤来匹配一个字符串
【发布时间】：2014-12-19 12:24:53
【问题描述】：

我想在返回的 http 标头中找到一个 url。根据beautiful soup，有一种方法可以使用soup.find_all(re.compile("yourRegex") 来收集数组中的正则表达式匹配。但是，我的正则表达式中一定遗漏了一些东西，它在text editor that I am using 的正则表达式中找到了匹配项，但与以下代码内部不匹配：

从 bs4 导入 BeautifulSoup 导入请求重新进口导入 csv 导入json 进口时间导入文件输入导入 urllib2

data = urllib2.urlopen("http://stackoverflow.com/questions/16627227/http-error-403-in-python-3-web-scraping").read()
soup = BeautifulSoup(data)
stringSoup = str(soup)

#Trying to use compile 
print soup.find_all(re.compile("[a-zA-Z0-9\-\.]+\.(com|org|net|mil|edu|COM|ORG|NET|MIL|EDU)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])?"))

我尝试将() 放在正则表达式周围，并以r 开头...我错过了什么是必要的？

我也一直在使用http://www.pythonregex.com/，将[a-zA-Z0-9\-\.]+\.(com|org|net|mil|edu|COM|ORG|NET|MIL|EDU)+([\w\-\.,@?^=%&amp;:/~\+#]*[\w\-\@?^=%&amp;/~\+#])? 放在正则表达式部分，将网址放在另一部分，但那里也没有匹配项。谢谢！

【问题讨论】：

stringsoup的内容是什么
jsfiddle.net/p8tu1e87/1
re.match 不会给出任何结果，因为它从一开始就匹配。你可以尝试 re.findall 代替

标签： python regex

【解决方案1】：

你的正则表达式没有问题，但你没有得到这个概念。 find_all 只在标签中搜索。
示例：
find_all("^b") 这会给你所有以名字 b 开头的标签
所以输出将是 p、tbody、body 等标签。
.如果你把re.compile放在find_all中，它只会在标签元素而不是整个html文档中寻找模式。
你需要使用vks解释的方法。

【讨论】：

【解决方案2】：

print re.findall(r"[a-zA-Z0-9\-\.]+\.(?:com|org|net|mil|edu|COM|ORG|NET|MIL|EDU)+(?:[\w\-\.,@?^=%&amp;:\/~\+#]*[\w\-\@?^=%&amp;\/~\+#])?",x)

试试这个。这对我有用。

x="""<!DOCTYPE html>

<html itemscope itemtype="http://schema.org/QAPage">

<head>
"""

输出：schema.org/QAPage

【讨论】：

@maudulus: oh la la la，除了- 之外，您不需要转义字符类中的特殊字符，除非它位于类的末尾或开头。写[&amp;]之类的东西不要有任何意义，字符类是没有顺序的字符集合，它与[;p&ma]相同。