使用Python和Selenium进行多线程网页爬虫时偶尔报错的原因是什么？（爬虫.报错.多线程.原因.网页...）

wufei1232025-03-16python942

使用python和selenium进行多线程网页爬虫时偶尔报错的原因是什么？

Python多线程Selenium爬虫偶发错误分析及解决

本文探讨使用Python和Selenium构建多线程网页爬虫时，偶尔出现错误的原因及解决方案。目标是将动态HTML页面保存为PDF，利用Selenium的page.printToPdf功能实现，并通过多线程提高效率。然而，多线程运行时，程序偶尔会报错，而单线程运行则正常。

问题描述

测试环境：

Python 3.9.0
Selenium 4.16.0

测试代码片段：

PHP

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
# ... 其他导入 ...
import threading

def test():
    service = Service(r"d:workchromedriver-win64chromedriver.exe")
    options = Options()
    options.binary_location = r"d:workchrome-win64chrome.exe"
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-gpu')
    # options.add_argument("--remote-debugging-port=9225")  # 问题代码行
    options.add_argument("--incognito")
    # ... 其他配置 ...
    driver = webdriver.Chrome(options=options, service=service)
    print(driver.session_id)
    driver.get("https://www.baidu.com")
    driver.quit()

if __name__ == '__main__':
    threads = [threading.Thread(target=test) for _ in range(3)]
    [t.start() for t in threads]
    [t.join() for t in threads]

多线程运行时，偶尔出现以下错误：

PHP

selenium.common.exceptions.WebDriverException: Message: disconnected: unable to receive message from renderer
...

问题分析与解决方案

错误原因在于代码中注释掉的options.add_argument("--remote-debugging-port=9225")这行。在多线程环境下，多个线程同时尝试连接同一个调试端口(9225)，导致端口冲突和连接失败。

解决方案：

移除调试端口参数: 如果不需要远程调试，直接删除options.add_argument("--remote-debugging-port=9225")即可。这是最简单的解决方法。
使用不同的调试端口: 如果需要远程调试，则为每个线程分配不同的调试端口。修改后的代码如下：

PHP

import threading
import random

def test(port):
    service = Service(r"d:workchromedriver-win64chromedriver.exe")
    options = Options()
    # ... other options ...
    options.add_argument(f"--remote-debugging-port={port}")
    driver = webdriver.Chrome(options=options, service=service)
    # ... rest of the code ...

if __name__ == '__main__':
    num_threads = 3
    ports = [9225 + i for i in range(num_threads)]  # 使用不同的端口
    threads = [threading.Thread(target=test, args=(port,)) for port in ports]
    [t.start() for t in threads]
    [t.join() for t in threads]