反序列化响应超过 400 mb 的 response.Result.Content.ReadAsStreamAsync() 时出现内存不足异常答案

【问题标题】：Out of memory exception while deserializing response.Result.Content.ReadAsStreamAsync() for response more than 400 mb反序列化响应超过 400 mb 的 response.Result.Content.ReadAsStreamAsync() 时出现内存不足异常
【发布时间】：2020-07-22 04:34:33
【问题描述】：

如何反序列化为大约 2GB 的对象。

将 100000 条记录添加到 List 后出现内存不足异常。

请告诉我是否有替代方法可以在列表对象或字符串中返回大约 900000 条记录？

var repsonse = httpClient.PostAsync(url,content);
List<object> lstObj = new List<object>();

using (var responseStream = response.Result.Content.ReadAsStreamAsync().Result)
{
    using (var textReader = new StreamReader(responseStream))
    {
        using (var jsonReader = new JsonTextReader(textReader))
        {
            while (jsonReader.Read())
            {
                object o = serializer.Deserialize<object>(jsonReader);
                lstObj.Add(o);
            }
        }
    }
}

【问题讨论】：

你打算如何处理这些对象？您不应该将它们全部加载到内存中。为什么不在阅读时一一处理？
我使用对象列表将其传递到下一步，即格式化内容
1) 哪一行代码抛出了OutOfMemoryException？ 2) 你的 JSON 是什么样的？它是一个对象数组吗？如果您查看this answer 到How to parse huge JSON file as stream in Json.NET?，您只想在reader.TokenType == JsonToken.StartObject 时反序列化。此外，通过反序列化到object，您实际上是在反序列化到需要大量内存的JToken。您可以反序列化为类型化数据模型——即 POCO 吗？这将在属性名称上节省大量内存。
@dbc lstObj.Add(o);行抛出内存异常，因为列表对象无法添加超过 100000 条记录。我正在检查代码中的 reader.TokenType == JsonToken.StartObject 但仍然是同样的问题
您也可以尝试使用LinkedList<T> 而不是List<T>，因为它不需要分配大的连续内存块并在需要增长时复制所有内容。

标签： c# memory-management json.net json-deserialization httpresponsemessage

【解决方案1】：

如果你真的需要在内存中加载2gb的对象，进入项目属性，你需要选择目标平台“AnyCpu”，这样你就可以在64位上运行并使用内存 enter image description here

【讨论】：

我认为这不是 OP 所要求的。