asyncio.gather 没有等待足够长的时间来完成所有任务

Question

我正在编写代码以使用 asyncio、aiohttp 和 BeautifulSoup 从输入 url 列表中获取一些链接。

这是相关代码的sn-p：

def async_get_jpg_links(links):
    def extractLinks(ep_num, html):
        soup = bs4.BeautifulSoup(html, 'lxml', 
            parse_only = bs4.SoupStrainer('article'))
        main = soup.findChildren('img')
        return ep_num, [img_link.get('data-src') for img_link in main]

    async def get_htmllinks(session, ep_num, ep_link):
        async with session.get(ep_link) as response:
            html_txt = await response.text()
        return extractLinks(ep_num, html_txt)

    async def get_jpg_links(ep_links):
        async with aiohttp.ClientSession() as session:
            tasks = [get_htmllinks(session, num, link) 
                    for num, link in enumerate(ep_links, 1)]
            return await asyncio.gather(*tasks)

    loop = asyncio.get_event_loop()
    return loop.run_until_complete(get_jpg_links(links))

我稍后会调用jpgs_links = dict(async_get_jpg_links(hrefs))，其中 hrefs 是一堆链接（约 170 个链接）。

jpgs_links 应该是一个带有数字键和一堆列表作为值的字典。一些值作为空列表返回（应该用数据填充）。当我减少 hrefs 中的链接数量时，更多的列表又满了。

对于下面的照片，我用一分钟的时间重新运行了相同的代码，如您所见，我得到了不同的列表，这些列表返回为空，不同的列表返回为满。

会不会是 asyncio.gather 没有等待所有任务完成？

如何让 asyncio 让我不返回空列表，同时保持 hrefs 中的链接数量高？

Answer 1

所以，原来我发送的一些网址引发了错误：

raise ClientResponseError(
aiohttp.client_exceptions.ClientResponseError: 504, message='Gateway Time-out',...

所以我改变了

async def get_htmllinks(session, ep_num, ep_link):
        async with session.get(ep_link) as response:
            html_txt = await response.text()
        return extractLinks(ep_num, html_txt)

到

async def get_htmllinks(session, ep_num, ep_link):
    html_txt = None
    while not html_txt:
        try:
            async with session.get(ep_link) as response:
                response.raise_for_status()
                html_txt = await response.text()
        except aiohttp.ClientResponseError:
            await asyncio.sleep(1)
    return extractLinks(ep_num, html_txt)

它的作用是在休眠一秒钟后重试连接（await asyncio.sleep(1) 会这样做）。

显然与 asyncio 或 BeautifulSoup 无关。