如何在 c# 中对 websocket 数据进行快速处理和执行操作？

Question

我正在使用 websocket 连接到第三方数据馈送提供商的服务器。 对于 websocket 连接，我的代码是：

this.websocket = new WebSocket("wss://socket.polygon.io/stocks", sslProtocols: SslProtocols.Tls12 | SslProtocols.Tls11 | SslProtocols.Tls);

因此，当建立连接时，我们每分钟都会收到近 70,000 到 1,00,000 条记录。因此，在那之后，我们将这些响应分叉并将其存储在单独的文件中。就像我们收到 AAPL 的数据一样，我们将这些数据存储到 AAPL 的文件中。与 FB、MSFT、IBM、QQQ 等相同。我们总共需要处理 10,000 个文件，并根据这些文件存储实时记录。

public static string tempFile = @"D:\TempFileForLiveMarket\tempFileStoreLiveSymbols.txt";
public static System.IO.StreamWriter w;
private void websocket_MessageReceived(object sender, MessageReceivedEventArgs e)
{
  using (w = System.IO.File.AppendText(tempFile))
  {
     Log(e.Message, w);
  }
  using (System.IO.StreamReader r = System.IO.File.OpenText(tempFile))
  {
     DumpLog(r);
  }
}

public static void Log(string responseMessage, System.IO.TextWriter w)
{
     w.WriteLine(responseMessage);
}

public static void DumpLog(System.IO.StreamReader r)
{
  string line;
  while ((line = r.ReadLine()) != null)
  {
     WriteRecord(line);
  }
}

public static void WriteRecord(string data)
{
   List<LiveData> ld = JsonConvert.DeserializeObject<List<LiveData>>(data);
   var filterData = ld.Where(x => symbolList.Contains(x.sym));
   List<string> fileLines = new List<string>();
   foreach (var item in filterData)
   {
      var fileName = @"D:\SymbolsData\"+item.sym+ "_day_Aggregate.txt";
      fileLines = File.ReadAllLines(fileName).AsParallel().Skip(1).ToList();
      if (fileLines.Count > 1)
      {
         var lastLine = fileLines.Last();
         if (!lastLine.Contains(item.sym))
         {
               fileLines.RemoveAt(fileLines.Count - 1);
         }
      }
      fileLines.Add(item.sym + "," + item.s + "," + item.p + "-----");
      System.IO.File.WriteAllLines(fileName, fileLines);
   }
}

因此，当 websocket 连接建立并使用我们的 10,000 个文件对实时市场数据执行操作时，它会变得更慢，并且 websocket 连接会在几分钟后关闭并传递如下消息：

Websocket Error
Received an unexpected EOF or 0 bytes from the transport stream.
Connection Closed...

我正在执行整个过程，因为在下一阶段我需要对每个交易品种的实时价格进行技术分析。那么我该如何处理这种情况呢？我怎样才能使处理速度比这个处理速度更快？以及如何停止连接关闭？

编辑后

我用字符串生成器替换流写入器和临时文件，如下所示，

public static StringBuilder sb = new StringBuilder();
public static System.IO.StringWriter sw;
private void websocket_MessageReceived(object sender, MessageReceivedEventArgs e)
{
      sw = new System.IO.StringWriter(sb);
      sw.WriteLine(e.Message);
      Reader();
}

public static void Reader()
{
     System.IO.StringReader _sr = new System.IO.StringReader(sb.ToString());
     while (_sr.Peek() > -1)
     {
            WriteRecord(sb.ToString());
     }
     sb.Remove(0, sb.Length);
}

public static void WriteRecord(string data)
{
     List<LiveData> ld = JsonConvert.DeserializeObject<List<LiveData>>(data);
     foreach (var item in filterData)
     {
           var fileName = @"D:\SymbolsData\"+item.sym+ "_day_Aggregate.txt";
           fileLines = File.ReadAllLines(fileName).AsParallel().Skip(1).ToList();
           fileLines.RemoveAt(fileLines.Count - 1);
           fileLines.Add(item.sym + "," + item.s + "," + item.p)
           System.IO.File.WriteAllLines(fileName, fileLines);
      }
}

Answer 1

看起来您将每条消息附加到tempFile，但随后您处理整个tempFile。这意味着您不断地重新处理旧数据加上新记录，所以是的：它会逐渐花费越来越长的时间，直到它需要很长时间，另一个end 厌倦了等待，把你打断了。我的建议：不要那样做。

在实际处理每条记录的过程中，您还可以很多做一些更有效的事情，但这与不断重新处理所有事情的开销相比是无关紧要的.