无法获取新选项卡中显示的某些信息

Question

我使用请求模块在 python 中创建了一个脚本，以获取在使用此电子邮件africk2@nd.edu 填写表单时显示的一些信息。问题是当我点击搜索按钮时，我可以看到一个包含我想要获取的所有信息的新标签。此外，我在 chrome 开发工具的 Network 部分下的 All 选项卡中看不到任何链接。所以，我对如何使用 requests 模块获取信息感到绝望。

website address

手动填充结果的步骤：

将此电子邮件地址africk2@nd.edu 放在Email address 的输入框旁边，然后点击Search 按钮。

我试过了：

import requests
from bs4 import BeautifulSoup

url = "https://eds.nd.edu/search/index.shtml"
post_url = "https://eds.nd.edu/cgi-bin/nd_ldap_search.pl"

res = requests.get(url,headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text,"lxml")
payload = {item['name']:item.get('value','') for item in soup.select('input[name]')}
payload['email'] = 'africk2@nd.edu'
del payload['clear']

resp = requests.post(post_url,data=payload)
print(resp.content)

上面的脚本是错误的方法。但是，我找不到任何想法来获取与该电子邮件相关的信息。

附：我不追求面向硒的解决方案。

Answer 1

好的，解决了：

from urllib.parse import quote

import requests


def get_contact_html(email: str):
    encoded = quote('o=\"University of Notre Dame\", '
                    'st=Indiana, '
                    'c=US?displayName,edupersonaffiliation,ndTitle,ndDepartment,postalAddress,telephoneNumber,mail,searchGuide,labeledURI,'
                    'uid?'
                    'sub?'
                    f'(&(ndMail=*{email}*))')
    data = {
        "ldapurl": f'LDAP://directory.nd.edu:389/{encoded}',
        "ldaphost": "directory.nd.edu",
        "ldapport": '389',
        "ldapbase": 'o="University of Notre Dame", st=Indiana, c=US',
        "ldapfilter": f'(&(ndMail=*{email}*))',
        "ldapheadattr": "displayname",
        "displayformat": "nd",
        "ldapmask": "",
        "ldapscope": "",
        "ldapsort": "",
        "ldapmailattr": "",
        "ldapurlattr": "",
        "ldapaltattr": "",
        "ldapjpgattr": "",
        "ldapdnattr": "",
    }
    res = requests.post('https://eds.nd.edu/cgi-bin/nd_ldap_search.pl',
                        data=data)
    res.raise_for_status()
    return res.text


if __name__ == '__main__':
    html = get_contact_html('africk2@nd.edu')
    print(html)

输出：

...
Formal Name:
...
Aaron D Frick
...

这将为您提供页面的 HTML。 诀窍是将编码空间+ 转换为"ldapbase": 'o="University of Notre Dame", st=Indiana, c=US', 字段中的真实空间，并让requests 模块对值本身进行编码。否则+ 符号会被双重编码。