使用带有 phantomJS 的 selenium 更改“用户代理”标头

Question

我正在尝试使用 selenium 登录表单，但出现了一个奇怪的错误。我很肯定它与用户代理标头有关，但如果不是，我想知道如何去做。

这是表单中的登录功能：

def log_in_phantom(username, password, url):
    dcap = dict(DesiredCapabilities.PHANTOMJS) 
    dcap["phantomjs.page.settings.userAgent"] = (<My user-agent>)
    browser = webdriver.PhantomJS(desired_capabilities = dcap)
    browser.get(url)
    browser.implicitly_wait(3)

    username = browser.find_element_by_id("username")
    if username.is_displayed():
        username.send_keys(username)

    password = browser.find_element_by_id("password")
    if password.is_displayed():
        password.send_keys(password)

    button = browser.find_element_by_class_name("btn-default")
    if button.is_displayed:
        button.click()

    session = browser.session_id
    print(browser.current_url)

这是我运行该函数时得到的结果：

selenium.common.exceptions.ElementNotVisibleException: Message: Error                   Message => 'Element is not currently visible and may not be manipulated'
 caused by Request => {<bunch of cookie data>}

在这个 cookie 数据中，我注意到

{"User-agent":"Python-urllib/3.5}

所以我更改标题的尝试没有成功。我是否使用了所需的功能？我还缺少什么？我是网络抓取的新手，所以它真的可以是任何东西。

感谢您的宝贵时间

Answer 1

另一个具有id="username" 的隐藏字段在这里引起了问题。

理想情况下，您应该使定位器更具体以匹配可见元素，例如：

driver.find_element_by_css_selector("div.login-form #username")

你也可以这样过滤掉可见元素：

username = next(element for element in driver.find_elements_by_id("username") 
                if element.is_displayed())
username.send_keys("test")

您可能还需要在搜索元素之前添加显式等待：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "username"))
)