网站在抓取时返回欺骗结果/404？

Question

我正在尝试抓取以下site。我尝试使用 request.get 并使用 Beautiful Soup 进行解析，但它返回的结果与使用浏览器查看时的结果不同。我也直接调用他们正在使用的端点，但返回 404 错误。我尝试过使用标题，但这并没有解决它。我该如何解决？

这是我使用的代码：

import requests
import BeautifulSoup

headers = headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 X-Requested-With: XMLHttpRequest'}

URL = 'url'
x = requests.get(url, headers=headers)

上面的代码确实返回了输出，但是它没有和网站一样的内容，即出现的一篇文章的链接

Answer 1

它使用 ajax 加载页面。我找到了 API。 所有的网址都可以是：

url = "https://legitquest.com/Search/GetResultBySelectedSearchResult?caseText=AIR+1950+SC+1&type=citation&filter=&sortBy=1&formattedCitation=AIR+1950+SC+1&removeFilter=&filterValueList=&_={}".format(str(time.time()).replace(".","")[:-4])

但是由于某些原因，也无法爬取该页面。（该页面使用严格的规则防止爬取）

即使我使用了正确的网址，它也无法获取它：

---

强烈推荐你使用selenium。这样会更方便。

---

我明白了：

import requests
import time

headers = {
    "X-Requested-With": "XMLHttpRequest"
}
url = 'https://legitquest.com/Search/GetResultBySelectedSearchResult?caseText=AIR+1950+SC+1&type=citation&filter=&sortBy=1&formattedCitation=AIR+1950+SC+1&removeFilter=&filterValueList=&_={}'.format(str(time.time()).replace(".","")[:-4])
x = requests.get(url,headers=headers)
print(x.json()["CaseDetails"][0]["LinkText"])

结果：

Sheth Maneklal Mansukhbhai V. Messrs. Hormusji Jamshedji Ginwallaand Sons

---

json格式：

{
    'filterList': '',
    'filterValueList': '',
    'caseText': 'AIR 1950 SC 1',
    'currentpage': 1,
    'CaseCount': 1,
    'openPopup': False,
    'UserId': '',
    'IsSubscribed': False,
    'IsMobileDevice': False,
    'CaseDetails': [{
        'LinkText': 'Sheth Maneklal Mansukhbhai V. Messrs. Hormusji Jamshedji Ginwallaand Sons',
        'PartyName': 'sheth-maneklal-mansukhbhai-vs-messrs.-hormusji-jamshedji-ginwallaand-sons',
        'SearchString': None,
        'CaseId': 21763,
        'EncryptedId': '1EBBB',
        'CourtName': 'Supreme Court Of India',
        'Id': 125883,
        'CourtId': 1,
        'CaseType': None,
        'HeadNotes': None,
        'Judges': "HON'BLE MR. JUSTICE M.C. MAHAJAN<BR />HON'BLE MR. JUSTICE SAIYID FAZAL ALI<BR />HON'BLE MR. JUSTICE B.K. MUKHERJEA",
        'DateOfJudgment': '21-03-1950',
        'Judgment': None,
        'OrderByDateTime': '/Date(-624326400000)/',
        'CaseNo': None,
        'Advocates': None,
        'CitationText': '',
        'CitatedCount': 0,
        'CopyText': None,
        'AlternativeCitation': '(1950) SCR 75 ; AIR 1950 SC 1 ; 1950 SCJ 317 ; (1950) 63 LW 495',
        'Petitioner': None,
        'Responder': None,
        'Citation': None,
        'Question': None,
        'HighlightedText': '',
        'IsFoundText': True,
        'IsOverruledExist': False,
        'IsDistinguishedExist': False,
        'IsOtherStatusExist': True,
        'OtherStatusImgUrl': 'https://www.legitquest.com/Content/themes/treatment/referred.svg',
        'OverruledImgUrl': None,
        'DistinguishedImgUrl': None,
        'BookmarkId': 0,
        'Chart': None,
        'CaseCitedCount': None,
        'SnapShot': None
    }]
}

Answer 2

关于这样做：

url = 'https://legitquest.com/Home/GetCaseDetails?searchType=citation&publisher=AIR%201950%20SC%201'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36'}
page_html = requests.get(url,headers=headers)
print("Status Code : ")
print(page_html.status_code)
page_soup = soup(page_html.content,features="lxml")

我得到了你需要的结果