【发布时间】:2021-09-20 15:32:06
【问题描述】:
我需要帮助构建一个使用 python selenium chrome 驱动程序绕过 gumtree.com.au 登录页面的机器人。当chrome驱动进入指定页面时
它什么都不加载,只是一个空白页。但是,当我手动将其插入任何浏览器时,它会完美加载。我根本无法登录让它加载硒铬驱动程序,我尝试更改标题,使用无头驱动程序,并使用 vim 全局更改所有 cdc_ 文本(是的,它是正确的,我已经三重检查了)。
使用了这个useragent类(实际上要导入包fake-useragent):
from fake_useragent import UserAgent
无头驱动程序片段:
options.add_argument(f'user-agent={random_header}')
options.add_argument("--window-size=1920,1080")
options.add_argument('--ignore-certificate-errors')
options.add_argument('--allow-running-insecure-content')
options.add_argument("--disable-extensions")
options.add_argument("--proxy-server='direct://'")
options.add_argument("--proxy-bypass-list=*")
options.add_argument("--start-maximized")
options.add_argument('--disable-gpu')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--no-sandbox')
options.add_argument(f"user-agent={random_header}")
几个问题:
- 我该怎么办?也可以使用其他自动化工具。
- 如何构建一个在大多数网站(如果不是全部)都无法检测到的机器人? 尤其是那些试图防止刮擦的(我不是 刮,我只是假设他们得到最糟糕的)
【问题讨论】:
标签: python python-3.x selenium-webdriver selenium-chromedriver bots