在 Web API 中读取文件内容时出现 System.OutOfMemoryException

Question

我想通过 Amazon Firehose 将文件内容作为 memory stream 发送到 S3 存储桶。下面是我的尝试，它适用于小文件，但我有一个 1 GB 的文件，我得到了{"Exception of type 'System.OutOfMemoryException' was thrown."}。

我的代码sn-p：

[HttpPost]
public async Task<bool> Upload()
{
    try
    {
        var filesReadToProvider = await Request.Content.ReadAsMultipartAsync();
        foreach (var stream in filesReadToProvider.Contents)
        {
            var fileBytes = await stream.ReadAsByteArrayAsync(); // THIS IS WHERE EXCEPTION COMES
            using (MemoryStream memoryStream = new MemoryStream(fileBytes))
            {
                PutRecordRequest putRecord = new PutRecordRequest();
                putRecord.DeliveryStreamName = myStreamName;
                Record record = new Record();
                record.Data = memoryStream;
                putRecord.Record = record;
                await kinesisClient.PutRecordAsync(putRecord);
            }
        }
    }
    catch (Exception e)
    {
        Console.WriteLine(e);
        throw;
    }    
    return true;
}

我查看了这个链接OutOfMemoryExceptoin，但我无法理解。请帮帮我。

尝试 1：

var filesReadToProvider = await Request.Content.ReadAsMultipartAsync();
foreach (var stream in filesReadToProvider.Contents)
{
    var fileByte = await stream.ReadAsStreamAsync();
    MemoryStream _ms = new MemoryStream();
    fileByte.CopyTo(_ms); // EXCEPTION HERE
    try
    {
        PutRecordRequest putRecord = new PutRecordRequest();
        putRecord.DeliveryStreamName = myStreamName;
        Record record = new Record();
        record.Data = _ms;
        putRecord.Record = record;
        await kinesisClient.PutRecordAsync(putRecord);
    }
    catch (Exception ex)
    {
        Console.WriteLine("Failed to send record to Kinesis. Exception: {0}", ex.Message);
    }
}

Answer 1

[HttpPost]
public async Task<bool> Upload()
{
    try
    {
        using(var requestStream = await Request.Content.ReadAsStreamAsync())
        {
            PutRecordRequest putRecord = new PutRecordRequest();
            putRecord.DeliveryStreamName = myStreamName;
            Record record = new Record();
            record.Data = requestStream ;
            putRecord.Record = record;
            await kinesisClient.PutRecordAsync(putRecord);

        }
    }
    catch (Exception e)
    {
        Console.WriteLine(e);
        throw;
    }

    return true;
}

这将读取块中的数据。将所有内容都保存在 Stream 中，这样您就不会将所有字节都保存在一个巨大的数组中。

Answer 2

在读取大文件时，我使用 StreamReader 的 Readline() 方法。它适用于大文件，因为它在内部管理文件系统缓存。你可以改用这个方法吗？您实现 MemoryStream 类是否有原因？您有评论询问如何注入数据？您是否尝试过使用 MemoryStream 的方法之一？？？

https://docs.microsoft.com/en-us/dotnet/api/system.io.memorystream?view=netframework-4.7.2

更新：

不确定这是否有用，因为代码与您使用的代码大不相同。但是，你的也不起作用，所以只是一个建议。

http://www.tugberkugurlu.com/archive/efficiently-streaming-large-http-responses-with-httpclient