【发布时间】:2021-07-01 05:03:04
【问题描述】:
我正在尝试借助 Selenium 模块 (Python) 抓取网站 https://www.mdoffice.com.ua/。该站点需要输入登录名和密码,以获取特定信息,这就是为什么我只能使用 Selenium 进行抓取。下载主页并从此页面移至下一个链接后,我试图查看此页面的当前 url,但程序显示主页的 url,我无法从该页面抓取任何信息(只能抓取主页)。这种情况只在这个网站上,在其他网站上一切正常。代码示例如下。如何解决这个问题呢?谢谢!
示例 1
'''
from selenium import webdriver
import time
browser = webdriver.Chrome("D:\Programs\Chrome dr Selenium\chromedriver_90")
url = "https://www.mdoffice.com.ua/ru/amain.html"
browser.get(url)
time.sleep(3)
elem = browser.find_element_by_link_text("Инструкции MDOffice")
或 elem = browser.find_element_by_xpath("/html/body/div[3]/div[2]/div[2]/nav/ul[1]/li/a") -
结果一样
time.sleep(3)
elem.click()
print(browser.current_url)
结果:https://www.mdoffice.com.ua/ru/amain.html
结果应该是:https://www.mdoffice.com.ua/ru/aMDOFAQ.decl
'''
示例 2(这里一切正常)
'''
from selenium import webdriver
import time
browser = webdriver.Chrome("D:\Programs\Chrome dr Selenium\chromedriver_90")
url = "https://www.bbc.com/news"
browser.get(url)
time.sleep(3)
link_1 = browser.find_element_by_link_text("Business")
time.sleep(3)
link_1.click()
page_url = browser.current_url
print(page_url)
结果:https://www.bbc.com/news/business
'''
【问题讨论】:
标签: python selenium web-scraping