读取和复制大文件/blob，而不将它们存储在 C# 的内存流中

Question

下面是从我的 blob 存储中读取 blob 然后将内容复制到表格存储中的代码。现在一切正常。但我知道如果我的文件太大，那么它会导致读取和复制失败。我想知道我们如何理想地处理这个问题，是我们暂时写入文件而不是将其存储在内存中吗？如果是，有人可以给我举个例子或告诉我如何在下面的现有代码中做到这一点>

public async Task<Stream> ReadStream(string containerName, string digestFileName, string fileName, string connectionString)
        {
            string data = string.Empty;
            string fileExtension = Path.GetExtension(fileName);
            var contents = await DownloadBlob(containerName, digestFileName, connectionString);
                           
            return contents;
        }

    public async Task<Stream> DownloadBlob(string containerName, string fileName, string connectionString)
    {        

       Microsoft.Azure.Storage.CloudStorageAccount storageAccount = Microsoft.Azure.Storage.CloudStorageAccount.Parse(connectionString);
        CloudBlobClient serviceClient = storageAccount.CreateCloudBlobClient();
        CloudBlobContainer container = serviceClient.GetContainerReference(containerName);
        CloudBlockBlob blob = container.GetBlockBlobReference(fileName);
        if (!blob.Exists())
        {
            throw new Exception($"Unable to upload data in table store for document");
        }
       
        return await blob.OpenReadAsync();  
}

     private IEnumerable<Dictionary<string, EntityProperty>> ReadCSV(Stream source, IEnumerable<TableField> cols)
    {
        
            using (TextReader reader = new StreamReader(source, Encoding.UTF8))
            {
            
                var cache = new TypeConverterCache();
                cache.AddConverter<float>(new CSVSingleConverter());
                cache.AddConverter<double>(new CSVDoubleConverter());
                var csv = new CsvReader(reader,
                    new CsvHelper.Configuration.CsvConfiguration(global::System.Globalization.CultureInfo.InvariantCulture)
                    {
                        Delimiter = ";",
                        HasHeaderRecord = true,
                        CultureInfo = global::System.Globalization.CultureInfo.InvariantCulture,
                        TypeConverterCache = cache
                    });
                csv.Read();
                csv.ReadHeader();


                var map = (
                        from col in cols
                        from src in col.Sources()
                        let index = csv.GetFieldIndex(src, isTryGet: true)
                        where index != -1
                        select new { col.Name, Index = index, Type = col.DataType }).ToList();

                while (csv.Read())
                {
                    yield return map.ToDictionary(
                        col => col.Name,
                        col => EntityProperty.CreateEntityPropertyFromObject(csv.GetField(col.Type, col.Index)));
                }
            
            }
        
    }

Answer 1

在您坚持认为 CsvHelper 无法从连接到 blob 的流中读取时，我将一些东西放在一起：

• WinForms 核心应用 (3.1)
• CsvHelper 最新 (19)
• Azure.Storage.Blobs (12.8)

我磁盘中的 CSV：

在我的 blob 存储上：

在我的调试器中，它通过 Read/GetRecord 记录了 CAf255 OK：

或通过 EnumerateRecords：

使用此代码：

    private async void button1_Click(object sender, EventArgs e)
    {
        var cstr = "MY CONNECTION STRING HERE";

        var bbc = new BlockBlobClient(cstr, "temp", "call.csv");

        var s = await bbc.OpenReadAsync(new BlobOpenReadOptions(true) { BufferSize = 16384 });

        var sr = new StreamReader(s);

        var csv = new CsvHelper.CsvReader(sr, new CsvConfiguration(CultureInfo.CurrentCulture) { HasHeaderRecord = true });

        var x = new X();

        //try by read/getrecord (breakpoint and skip over it if you want to try the other way)
        while(await csv.ReadAsync())
        {
            var rec = csv.GetRecord<X>();
            Console.WriteLine(rec.Sid);
        }

        //try by await foreach
        await foreach (var r in csv.EnumerateRecordsAsync(x))
        {
            Console.WriteLine(r.Sid);
        }
    }

哦，还有在我的应用程序中表示 CSV 记录的类（我只对一个属性 Sid 进行了建模来证明这个概念）：

class X {
    public string Sid{ get; set; }
}

也许把事情往回拨一点，从简单的开始。 CSV 中的一个字符串道具，没有产生等，只需让文件读取 OK。我也没有为所有的头文件而烦恼——似乎只要在选项中说“文件有头文件”就可以正常工作——你可以看到我的调试器有一个 X 实例，其中一个正确填充的 Sid 属性显示了第一个值。我又运行了一些循环，它们也填充好了

Answer 2

我想它可能看起来像这样（修改您的 ReadCSV 以获取流，而不是行）：

private IEnumerable<Dictionary<string, EntityProperty>> ReadCSV(Stream source, IEnumerable<TableField> cols)
{
    using (TextReader reader = new StreamReader(source))

还有这个（修改你的 DownloadBlob 以返回一个流）：

public async Task<Stream> GetBlobStream(string containerName, string fileName, string connectionString)
    {
        
        Microsoft.Azure.Storage.CloudStorageAccount storageAccount = Microsoft.Azure.Storage.CloudStorageAccount.Parse(connectionString);
        CloudBlobClient serviceClient = storageAccount.CreateCloudBlobClient();
        CloudBlobContainer container = serviceClient.GetContainerReference(containerName);
        CloudBlockBlob blob = container.GetBlockBlobReference(fileName);
        if (!blob.Exists())
        {
            throw ...
        }
            
        return await blob.OpenReadAsync();

    }

然后将它们连接在一起：

var stream = GetBlobStream(...)

ReadCSV(stream, ...)