怎么绕过selenium爬取网页

如何绕过Selenium检测

1.使用chrome的远程调试模式结合selenium来遥控chrome进行抓取，这样不会携带指纹信息

步骤:

• 使用调试模式手工启动chrome,进入chrome的安装路径,例如chrome装在 C:\program\google\chrome.exe下（windows）(Ubuntu的进入chrome的安装目录)

• 进入chrome安装路径（Ubuntu）
  

• 执行命令:

   #注意端口不要被占用，防火墙要关闭,user-data-dir用来指明配置文件的路径
   # Windows版
   chrome.exe --remote-debugging-port=9222 --user-data-dir="指向任意空文件夹"
   # Ubuntu版
   google-chrome --remote-debugging-port=9222 --user-data-dir="指向任意空文件夹"
  

• selenium启动添加相应配置选项

   chrome_options = webdriver.ChromeOptions()
   #端口需要和启动chrome的调试端口一样
   chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
  

例如：

from selenium import webdriver


chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option("debuggerAddress","127.0.0.1:9222")
browser = webdriver.Chrome(executable_path = '/usr/local/bin/chromedriver',chrome_options=chrome_options)

browser.get("https://www.zhihu.com/signup?next=%2F")