使用 splinter/selenium 加速网页解析

Question

我正在尝试实现以下目标。

1. 使用 splinter 访问 URL
2. 将浏览器实例传递给使用多进程 (multiprocessing.Process) 的所有方法
3. 所有方法都在线程中执行，减少了总时间

示例代码如下所示。

from splinter import Browser
from multiprocessing import Process, Queue, current_process, freeze_support

#
# Function run by worker processes
#

def worker(input, output):
    for func, args in iter(input.get, 'STOP'):
        result = calculate(func, args)
        output.put(result)

#
# Function used to calculate result
#

def calculate(func, args):
    print(args)
    result = func(*args)
    return '%s says that %s%s = %s' % \
        (current_process().name, func.__name__, args, result)


def get_meta_tag_title(browser):
    return browser.find_by_xpath('//title')[0]['text']

def get_meta_tag_description(browser):
    return browser.find_by_xpath('//description')[0]['text']

#
#
#

def test():
    browser = Browser(headless=True)
    browser.visit('https://example.com')
    NUMBER_OF_PROCESSES = 2
    TASKS1 = [(get_meta_tag_title, (browser)), (get_meta_tag_description, (browser))]

    # Create queues
    task_queue = Queue()
    done_queue = Queue()


    # Submit tasks
    for task in TASKS1:
        task_queue.put(task)

    # Start worker processes
    for i in range(NUMBER_OF_PROCESSES):
        Process(target=worker, args=(task_queue, done_queue)).start()

    # Get and print results
    print('Unordered results:')
    for i in range(len(TASKS1)):
        print('\t', done_queue.get())

    browser.quit()


if __name__ == '__main__':
    freeze_support()
    test()

我的问题是 -

1. 这是正确的方法吗？，使用浏览器实例获取所有元素信息/值是否线程安全
2. 将浏览器实例添加到队列会导致TypeError: cannot serialize '_io.BufferedWriter' object 我应该使用池吗？

Answer 1

Splinter 基于 selenium 的WebDriver，即not thread safe，因此您可能不应该在生产中的单独线程中使用它。实际上，它可能会起作用，因为您正在执行的操作是只读的。不使用线程的另一个可能原因是，您尝试并行化的操作是 CPU 密集型的，在大多数情况下，由于 GIL，python 线程不会提高性能。

另一方面，多处理确实可以帮助您并行处理 CPU 密集型工作。但是将浏览器对象传递给每个工作进程（如您所做的那样）将不起作用，因为浏览器拥有打开的文件、套接字，并拥有自己的有状态驱动程序实例。这些不能被轻易复制并传递给另一个进程。相反，您可以做的是在每个工作人员中创建一个浏览器对象，导航到该页面并随后在其上执行您的任务。

编辑

要进一步缩短执行时间，您可以尝试：

1. 使用 find_by_xpath 以外的定位器方法，它本身就很慢，因为它遍历整个 DOM。
2. 使用 requests 库获取 html 内容并使用 lxml 解析它而不是使用 selenium，因为 webdriver 可能会导致一些严重的开销。