使用请求访问网站时的不同内容

Question

我正在尝试使用公司名称（例如“Google”）在 ARIN 中自动获取相应的句柄 ID。

https://search.arin.net/rdap/?query=google*

我幼稚的做法是使用requests和BeautifulSoup：

import requests
from bs4 import BeautifulSoup

html = 'https://search.arin.net/rdap/?query='
comp = 'google*'

r = requests.get(html + comp)
soup = BeautifulSoup(r.text, 'html.parser')

#example search
search = soup.body.find_all(text = "Handle$")

但是，当我使用 requests 时，我得到的输出与我仅使用 Google Chrome 时不同。 requests返回的html代码不同，无法访问对应的句柄。

有人知道怎么改密码吗？

Answer 1

您在页面上看到的数据是从外部 API URL 加载的。你可以使用requests模块来模拟它：

import json
import requests

api_url = "https://rdap.arin.net/registry/entities"
params = {"fn": "google*"}

data = requests.get(api_url, params=params).json()

# pretty print the data:
print(json.dumps(data, indent=4))

打印：

...

        {
            "handle": "GF-231",
            "vcardArray": [
                "vcard",
                [
                    [
                        "version",
                        {},
                        "text",
                        "4.0"
                    ],
                    [
                        "fn",
                        {},
                        "text",
                        "GOOGLE FIBER INC"
                    ],
                    [
                        "adr",
                        {
                            "label": "3425 MALONE DR\nCHAMBLEE\nGA\n30341\nUnited States"
                        },
                        "text",
                        [
                            "",
                            "",
                            "",
                            "",
                            "",
                            "",
                            ""
                        ]
                    ],
                    [
                        "kind",
                        {},
                        "text",
                        "org"
                    ]
                ]
            ],

...