当收到大量消息时，websockets 会“滞后”吗？

Question

我正在尝试使用 asyncio 和 websocket 创建一个脚本，该脚本应该连接到 4-5 个加密货币交易所 websocket，并从这些交易所实时接收交易。我的代码有效，而且非常简单，如下所示：

import asyncio
import websockets
import json

subscriptions = ['btcusdt@trade', 'ethusdt@trade', 'bchusdt@trade', 'xrpusdt@trade', 'eosusdt@trade', 'ltcusdt@trade', 'trxusdt@trade', 'etcusdt@trade', 'linkusdt@trade', 'xlmusdt@trade', 'adausdt@trade', 'xmrusdt@trade', 'dashusdt@trade', 'zecusdt@trade', 'xtzusdt@trade', 'bnbusdt@trade', 'atomusdt@trade', 'ontusdt@trade', 'iotausdt@trade', 'batusdt@trade', 'vetusdt@trade', 'neousdt@trade', 'qtumusdt@trade', 'iostusdt@trade', 'thetausdt@trade', 'algousdt@trade', 'zilusdt@trade', 'kncusdt@trade', 'zrxusdt@trade', 'compusdt@trade', 'omgusdt@trade', 'dogeusdt@trade', 'sxpusdt@trade', 'kavausdt@trade', 'bandusdt@trade', 'rlcusdt@trade', 'wavesusdt@trade', 'mkrusdt@trade', 'snxusdt@trade', 'dotusdt@trade', 'defiusdt@trade', 'yfiusdt@trade', 'balusdt@trade', 'crvusdt@trade', 'trbusdt@trade', 'yfiiusdt@trade', 'runeusdt@trade', 'sushiusdt@trade', 'srmusdt@trade', 'bzrxusdt@trade', 'egldusdt@trade', 'solusdt@trade', 'icxusdt@trade', 'storjusdt@trade', 'blzusdt@trade', 'uniusdt@trade', 'avaxusdt@trade', 'ftmusdt@trade', 'hntusdt@trade', 'enjusdt@trade', 'flmusdt@trade', 'tomousdt@trade', 'renusdt@trade', 'ksmusdt@trade', 'nearusdt@trade', 'aaveusdt@trade', 'filusdt@trade', 'rsrusdt@trade', 'lrcusdt@trade', 'maticusdt@trade', 'oceanusdt@trade', 'cvcusdt@trade', 'belusdt@trade', 'ctkusdt@trade', 'axsusdt@trade', 'alphausdt@trade', 'zenusdt@trade', 'sklusdt@trade']

async def connect():
    while True:
        async with websockets.client.connect('wss://fstream.binance.com/ws/trade') as ws:
        
                tradeStr = {"method": "SUBSCRIBE", "params": subscriptions, 'id': 1}
                await ws.send(json.dumps(tradeStr))

                while True:
                    try:
                        msg = await asyncio.wait_for(ws.recv(), 5)
                        message = json.loads(msg)

                        try:    
                            print(message)
                        except Exception as e:
                            print(e)

                    except asyncio.TimeoutError:
                        break


asyncio.get_event_loop().run_until_complete(connect())

在上面的示例中，我正在连接到 Binance，并且我正在接收所有可用市场的交易。我这样做是为了一次进行更多的交流，但只要我每秒收到很多消息，问题也会发生。

每条消息都像这样{"rate": "xx", "market": "xx", "amount": "xx", "side": "xx"}，非常小。

我注意到的一个大问题是，在脚本运行一段时间后，我开始收到较少的消息，很多消息会在很多秒后出现，而我什至没有收到很多其他消息，好像他们迷路了，或者好像连接被冻结了。

现在，我知道这不是一个非常具体的问题，但这里可能是什么问题？

当 websockets 每秒接收大量消息时，是否有可能出现此类问题？我试图从我的本地和 vps 测试这个系统，在这两种情况下我都遇到了同样的问题。这可能是资源问题吗？或者它最有可能与服务器有关，而不是我的客户端？我试图尽可能具体，如果需要，我可以更详细。 我读到websockets 将收到的消息存储在缓冲区中。问题是否可能是缓冲区被填满？ 任何形式的建议都值得赞赏！

Answer 1

根据您的解释和我的经验，这似乎与资源管理有关，是的，如果您每秒收到大量消息，WebSockets 会受到影响，是的，这会导致您的服务器出现问题。为什么？因为缓冲区当然是有限的，而且可用于同时处理所有这些消息的内存量，正如他们在WebSocket 库(version 8.1) 的官方文档中提到的那样，我认为你的问题是你是opening a lot number of connections at the same time and this causes memory exhaustion 当然这些取决于消息的大小和服务器的资源，这可以很容易地测试你可以用2个VPS尝试它，如果2个服务器有不同的时间运行到不同数量的资源该状态绝对是资源之一（我认为这应该是预期的结果，应该首先遇到更少的资源，并且资源意味着内存）。以下是WebSockets 库的官方文档的一些链接，其中引用了由内存引起的这些问题以及优化内存使用的方法。希望对你有所帮助?。

Memory Usage Optimizations