Python web 自动化从网页获取电子邮件

Question

我想要一个可以打开链接并从该页面打印电子邮件地址的 python 脚本。

例如

1. 访问 example.com 等网站
2. 在其中搜索电子邮件。
3. 在该链接的所有页面中搜索。

我在下面的代码中试过

import requests
from bs4 import BeautifulSoup

r = requests.get('http://www.digitalseo.in/')
data = r.text
soup = BeautifulSoup(data)

for rate in soup.find_all('@'):
    print rate.text

我把这个网站作为参考。

有人帮我弄这个吗？

Answer 1

因为find_all() 只会搜索标签。来自文档：

签名：find_all(name, attrs, recursive, string, limit, **kwargs)

find_all() 方法查看标签的后代并检索与您的过滤器匹配的所有后代。

所以你需要像这样添加一个关键字参数：

---

import re
import requests
from bs4 import BeautifulSoup

r = requests.get('http://www.digitalseo.in/')
data = r.text
soup = BeautifulSoup(data, "html.parser")

for i in soup.find_all(href=re.compile("mailto")):
    print i.string

演示：

contact@digitalseo.in
contact@digitalseo.in

---

来自文档：

任何未被识别的参数都将被转换为标签属性之一的过滤器。如果你为一个名为 id 的参数传入一个值，Beautiful Soup 将过滤每个标签的 'id' 属性：

soup.find_all(id='link2')
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

如果您传入href 的值，Beautiful Soup 将过滤每个标签的“href”属性：

soup.find_all(href=re.compile("elsie"))
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

您可以查看文档了解更多信息：http://www.crummy.com/software/BeautifulSoup/bs4/doc/#find-all

---

如果您想从文档中查找电子邮件地址，regex 是一个不错的选择。

例如：

import re
re.findall( '[^@]+@[^@]+\.[^@]+ ', text) # remember change `text` variable

---

如果您想通过关键字在页面中找到链接，只需使用.get，如下所示：

import re
import requests
from bs4 import BeautifulSoup

def get_link_by_keyword(keyword):
    links = set()
    for i in soup.find_all(href=re.compile(r"[http|/].*"+str(keyword))):
        links.add(i.get('href'))

    for i in links:
        if i[0] == 'h':
            yield i
        elif i[0] == '/':
            yield link+i
        else:
            pass

global link
link = raw_input('Please enter a link: ')
if link[-1] == '/':
    link = link[:-1]

r = requests.get(link, verify=True)
data = r.text
soup = BeautifulSoup(data, "html.parser")

for i in get_link_by_keyword(raw_input('Enter a keyword: ')):
    print i