从 AJAX 调用中抓取 JSON

Question

背景

考虑到这个网址：

base_url = "https://www.olx.bg/ad/sobstvenik-tristaen-kamenitsa-1-CID368-ID81i3H.html"

我想对电话号码进行 ajax 调用：

ajax_url = "https://www.olx.bg/ajax/misc/contact/phone/7XarI/?pt=e3375d9a134f05bbef9e4ad4f2f6d2f3ad704a55f7955c8e3193a1acde6ca02197caf76ffb56977ce61976790a940332147d11808f5f8d9271015c318a9ae729"

想要的结果

如果我在控制台中的 chrome 浏览器中通过网站按下按钮，我会得到想要的结果：

{"value":"088 *****"}

调试

如果我打开一个新标签并粘贴 ajax_url，我总是会得到空值：

{"value":"000 000 000"}

如果我尝试类似：

重击：

wget $ajax_url

Python：

import requests


json_response= requests.get(ajax_url)

我只会收到网站处理页面的 html 有错误。

想法

当我使用浏览器打开请求时，我还有更多内容。我还有什么？也许是饼干？

如何使用 Bash/Python 获得想要的结果？

编辑

响应html的代码是200

我尝试过使用 curl，但遇到了同样的 html 问题。

某种修复。

我注意到，如果我复制浏览器的 cookie，并使用包含来自浏览器的 cookie 的所有标头发出请求，我会得到正确的结果

# I think the most important header is the cookie
headers = DICT_WITH_HEADERS_FROM_BROWSER
json_response= requests.get(next_url,
                            headers=headers,
                            )

最后一个问题

剩下的唯一问题是如何通过 Python 脚本生成 cookie？

Answer 1

首先您应该创建一个请求会话来存储 cookie。 然后向实际调用 ajax 请求的页面发送一个 http GET 请求。如果网站创建了任何 cookie，它会在 GET 响应中发送，并且您的会话会存储 cookie。 然后就可以很方便的使用session调用ajax api了。

重要提示1： 您在原网站调用的ajax url 是http POST 请求！您不应该向该网址发送获取请求。

重要提示2： 您还必须从网站 js 代码中提取 phoneToken，该代码存储在 var phoneToken = 'here is the pt'; 等变量中

示例代码：

import re
import requests

my_session = requests.Session()

# call html website
base_url = "https://www.olx.bg/ad/sobstvenik-tristaen-kamenitsa-1-CID368-ID81i3H.html"
base_response = my_session.get(url=base_url)
assert base_response.status_code == 200

# extract phone token from base url response
phone_token = re.findall(r'phoneToken\s=\s\'(.+)\';', base_response.text)[0]

# call ajax api
ajax_path = "/ajax/misc/contact/phone/81i3H/?pt=" + phone_token
ajax_url = "https://www.olx.bg" + ajax_path
ajax_headers = {
    'accept': '*/*',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.9,fa;q=0.8',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-origin',
    'Referer': 'https://www.olx.bg/ad/sobstvenik-tristaen-kamenitsa-1-CID368-ID81i3H.html',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
ajax_response = my_session.post(url=ajax_url, headers=ajax_headers)

print(ajax_response.text)

当你运行上面的代码时，会显示下面的结果：

{"value":"088 558 9937"}

Answer 2

from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import time

options = Options()
options.add_argument('--headless')

driver = webdriver.Firefox(options=options)
driver.get(
    'https://www.olx.bg/ad/sobstvenik-tristaen-kamenitsa-1-CID368-ID81i3H.html')

number = driver.find_element_by_xpath(
    "/html/body/div[3]/section/div[3]/div/div[1]/div[2]/div/ul[1]/li[2]/div/strong").click()
time.sleep(2)
source = driver.page_source
soup = BeautifulSoup(source, 'html.parser')

phone = soup.find("strong", {'class': 'xx-large'}).text

print(phone)

输出：

088 558 9937