脚本无法获取链接中可用的所有名称

Question

我正在尝试获取以下链接中所有可用旅馆的名称。问题是名称是动态生成的，这就是我无法使用get 请求获取它们的原因。但是，当我发出带有适当有效负载的post 请求时，我可以从它的登录页面获取名称。当我单击show more records 按钮时出现问题，因为我可以看到负载中的一个额外字段'lr': '87' 正在添加，我无法以正确的方式使用它。

Website address

当我点击show more records按钮时增加的数字是87,227,384,457等等。

这是我尝试解析的内容（为前几个名字工作）：

import requests
from bs4 import BeautifulSoup

url = 'http://hosteldunia.com/controller/search2.php'

payload={
    'address': 'hyderabad',
    'forWhom': 'Men',
    'accomodationType': 'undefined',
    'min': '2000',
    'max': '20000',
    'filter': 'single|doubleShare|tripleShare|fourShare|fiveShare'
}
session = requests.Session()
r = session.post(url,data=payload)
soup = BeautifulSoup(r.text,'lxml')
for item in soup.select("h5.hover-title-top"):
    print(item.text)

如何使用请求从该链接中获取所有名称？

Answer 1

这被证明是一个挑战，我必须查看 javascript 代码才能找到它。

响应包含一个带有“more”类的 div，它的 id 是下一个 lr。我敢打赌他们没有代码审查:)

import requests
from bs4 import BeautifulSoup



def get_next_batch(lr):
    url = 'http://hosteldunia.com/controller/search2.php'

    payload = {
        'address': 'hyderabad',
        'forWhom': 'Men',
        'accomodationType': 'undefined',
        'min': '2000',
        'max': '20000',
        'filter': 'single|doubleShare|tripleShare|fourShare|fiveShare',
        'lr': lr
    }
    session = requests.Session()
    r = session.post(url, data=payload)
    soup = BeautifulSoup(r.text, 'html.parser')

    for item in soup.select("h5.hover-title-top"):
        print(item.text)

    next_lr = soup.select(".more")[0]['id']
    return next_lr

lr = None
#loads next batches
lr = get_next_batch(lr)
lr = get_next_batch(lr)
lr = get_next_batch(lr)