使用 Selenium 和 driver.get() 进行网页抓取的问题答案

【问题标题】：Issue in web scraping using Selenium and driver.get()使用 Selenium 和 driver.get() 进行网页抓取的问题
【发布时间】：2022-11-10 17:38:42
【问题描述】：

我正在尝试抓取此 url，但是当程序运行并打开 chrome 页面时，我在 driver.get() 中输入的 url 会发生更改。什么可能导致它发生变化？

我想打开此链接并获取特定内容，但 url 更改并显示错误，因为更改的 url 上不存在此类。

这是我的代码：

s=Service(ChromeDriverManager().install())

driver = webdriver.Chrome(service=s)

driver.get("https://www.booking.com/hotel/pk/one-bahawalpur.html?aid=378266&label=bdot-Os1%2AaFx2GVFdW3rxGd0MYQS541115605091%3Apl%3Ata%3Ap1%3Ap22%2C563%2C000%3Aac%3Aap%3Aneg%3Afi%3Atikwd-334108349%3Alp1011080%3Ali%3Adec%3Adm%3Appccp%3DUmFuZG9tSVYkc2RlIyh9YYriJK-Ikd_dLBPOo0BdMww&sid=0a2d2e37ba101e6b9547da95c4a30c48&all_sr_blocks=41645002_248999805_0_1_0;checkin=2022-11-10;checkout=2022-11-11;dest_id=-2755460;dest_type=city;dist=0;group_adults=2;group_children=0;hapos=1;highlighted_blocks=41645002_248999805_0_1_0;hpos=1;matching_block_id=41645002_248999805_0_1_0;no_rooms=1;req_adults=2;req_children=0;room1=A%2CA;sb_price_type=total;sr_order=popularity;sr_pri_blocks=41645002_248999805_0_1_0__1120000;srepoch=1668070223;srpvid=e9da3e27383900b4;type=total;ucfs=1&#hotelTmpl")


print(driver.find_element(by=By.CLASS_NAME, value="d2fee87262"))

打开chrome页面后的url如下： https://www.booking.com/searchresults.html?aid=378266&label=bdot-Os1%2AaFx2GVFdW3rxGd0MYQS541115605091%3Apl%3Ata%3Ap1%3Ap22%2C563%2C000%3Aac%3Aap%3Aneg%3Afi%3Atikwd-334108349%3Alp1011080%3Ali%3Adec%3Adm%3Appccp%3DUmFuZG9tSVYkc2RlIyh9YYriJK-Ikd_dLBPOo0BdMww&sid=63b32ef8c1d53ae0613d71baf62c3e56&checkin=2022-11-10&checkout=2022-11-11&city=-2755460&group_adults=2&group_children=0&highlighted_hotels=416450&hlrd=with_av&keep_landing=1&no_rooms=1&redirected=1&source=hotel&srpvid=e9da3e27383900b4&room1=A,A,;#hotelTmpl

【问题讨论】：

该页面上没有这样的元素。即使我手动打开它并且没有任何变化

标签： python selenium selenium-webdriver

【解决方案1】：

URL 由站点更改。你不能改变它的行为。它将具有新会话的用户重定向到搜索而不是酒店的页面。作为一种解决方法，我可以建议在搜索中单击酒店名称：

driver.find_element(By.XPATH, '//div[text()="Hotel One Bahawalpur"]').click

将此行放在打开页面的行和找到元素的行之间。
另外我建议您在driver = webdriver.Chrome(service=s) 之后添加一行driver.implicitly_wait(10)。这将提高刮板的稳定性，因为它使 selenium 在页面上出现元素时等待。

【讨论】：