使用 selenium chromedriver 向用户代理添加联系信息

Question

我正在完成一个网络抓取项目，我想将我的联系电子邮件添加到用户代理，以便网站管理员想就我正在做的抓取联系我或希望我联系我停下来。

我在用户代理上找到了以下文档：

headers = {
    "User-Agent": "my web scraping program. contact me at admin@domain.com"
}
r = requests.get("http://example.com", headers=headers)

此示例涉及请求而不是 chromedriver。我想知道是否有人知道如何在使用 selenium/chromedriver 时将这种类型的标头信息添加到我的用户代理中。 到目前为止，这是我的代码：

from selenium import webdriver
import os
import re
import time
from webdriver_manager.chrome import ChromeDriverManager

chromedriver_path = os.getcwd() + '/chromedriver'
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get('www.example.com')
link_url = driver.find_element_by_tag_name('a')
time.sleep(10)
html = driver.page_source
driver.close()

我不确定如何以及在何处使用我的联系信息定义我的标题。有任何想法吗？谢谢！

Answer 1

Selenium 实际上并不直接支持请求标头，因为它根本没有 API。

如果您真的必须使用 selenium 发送标头，您唯一可行的选择是使用 browsermob-proxy：https://github.com/lightbody/browsermob-proxy

这就是它的样子：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('-start maximized')


headers = {'User-Agent': 'webscraper - email'}

server = Server(path='path to browsermob-proxy', options=headers)
server.start()
proxy = server.create_proxy().proxy
chrome_options.add_argument(f'--proxy-server{proxy}')

driver = webdriver.Chrome(options=chrome_options)

driver.get('your URL')

---

下面的代码只是让 selenium 浏览器窗口打开。 或者，您可以输入“--headless”，以便在运行脚本时不会打开浏览器窗口。

chrome_options.add_argument('-start maximized')

同样，下面的代码让 chrome webdriver 知道我们要使用刚刚创建的代理服务器。通过代理服务器进行的这种重定向可以让您将标头添加到您的连接中。

chrome_options.add_argument(f'--proxy-server{proxy}')