Beautifulsoup 收到超时消息答案

【问题标题】：Beautifulsoup gets timeout messageBeautifulsoup 收到超时消息
【发布时间】：2019-08-02 10:30:05
【问题描述】：

我正在尝试使用 beautifulsoup 获取网站的搜索结果。网址为：https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html

当您在浏览器中访问该网站时，您无需登录即可看到搜索结果等。但是，当我打印结果时，我从网站上收到一个错误：“ Ihre Anfrage scheint abgelaufen zu sein。 "

"<h4 class="modal-title text-info text-uppercase" id="time_out_modal_label">
                    Ihre Anfrage scheint abgelaufen zu sein.
                </h4>"

然后它会告诉您重新加载页面并重试。

def getPage(search_url):
   resp = requests.get(search_url)
   return BeautifulSoup(resp.content, 'html.parser')

【问题讨论】：

标签： python beautifulsoup telegram

【解决方案1】：

通过requests 加载页面似乎正常。当我查看源代码时，有Ihre Anfrage scheint abgelaufen zu sein. 模态对话框，但它在每个请求中（并且隐藏在普通浏览器中）：

import requests
from bs4 import BeautifulSoup

url = ' https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html'

soup = BeautifulSoup(requests.get(url).text, 'html.parser')

for headline in soup.select('h3.headline.noprint'):
    print(headline.get_text(strip=True))

打印：

WG Zimmer in perfekter Lage
Möbliertes 17 qm Zimmer direkt am Hafen, zentral
WG-Zimmer in der Innenstadt
WG-Zimmer im Kreuzviertel
Schönes WG-Zimmer zur Zwischenmiete in zentraler Lage
Zimmer frei am Aasee!
Kleines, aber feines möbliertes WG-Zimmer im Zentrum ab dem 01.09
zentrales 14 qm Zimmer frei zur Zwischenmiete bis Oktober
Großes möbliertes Zimmer in 2er WG zur Zwischenmiete
25 m² Zimmer in 3er WG im Zentrum MS
Schönes WG-Zimmer zur Zwischmiete :)
17 qm am Hafen in 4er WG
WG im Gievenbeck zur Untermiete
Möbliertes WG-Zimmer zur Zwischenmiete in TOP Lage
Zwischenmiete einen Monat in 3er WG  Centrums- und Bahnhofsnähe
Perfekt als Übergang zur Wohnungssuche! Möbliertes 18 qm Zimmer für September in netter 3er WG, direkt im Kreuzviertel
WG-Zimmer zur Zwischenmiete in perfekter Lage
Preisgünstiges Zimmer im Kreuzviertel
Helles 22qm-Zimmer in sehr zentraler Berufstätigen-WG
Modernes WG-Zimmer in 4-er WG

【讨论】：