将 CsvHelper 与流一起使用

Question

我正在尝试使用 CsvHelper 读取 CSV 文件并从中创建一个 DataTable。第一行将是提供列名的标题记录，但除此之外，文件的结构是未知的。如果我使用以下代码（取自 CsvHelper 的作者的示例），它可以工作。

using (var reader = new StreamReader("path\\to\\file.csv"))
using (var csv = new CsvReader(reader))
{
    // Do any configuration to `CsvReader` before creating CsvDataReader.
    using (var dr = new CsvDataReader(csv))
    {        
        var dt = new DataTable();
        dt.Load(dr);
    }
}

但是，如果我为 StreamReader 使用替代构造函数，该构造函数将 Stream 作为参数而不是文件路径，则 CsvDataReader 的创建将失败，并显示错误消息“不支持同步读取”。

我尝试了 CsvHelper 的其他一些方法来尝试以不同的方式处理数据，但每当通过传入 Stream 而不是文件路径创建 StreamReader 时，我都会遇到相同的错误。我开始怀疑真正的问题是否在于 StreamReader 的实现或 CsvHelper。在我的情况（Blazor Server 应用程序）中，传入 Stream 更有意义。有任何想法吗？

编辑：

我相信 David Specht 是正确的，因为我使用的特定流有一些独特之处。在进一步的测试中，我发现一些字符串确实可以工作。在出现错误的情况下，我正在使用 IFileListEntry.Data 流接口从 Steve Sanderson 的 BlazorInputFile 组件（在 GitHub 上）读取流。我怀疑它的实现中有一些东西会导致我遇到错误。如果是这种情况，那么解决方法会很有帮助。 （也许从另一个流创建一个流以在异步和同步流之间切换？还不确定如何做到这一点，但我会试一试。）

Answer 1

正如 David Specht 在他的回答中指出的那样，正如我在对原始问题的编辑中指出的那样，它确实适用于某些 Streams。在下面的示例中，流的实现中的某些内容file.Data 不适用于CsvHelper，导致“不支持同步读取”错误。这个特定的流是 IFileListEntry.Data 的一个实例，来自 Steve Sanderson 创建的 BlazorInputFile 组件，可在 GitHub 上获得。 （总而言之，这个组件似乎工作得很好，记住我正在使用版本 0.1.0-preview-00002 所以谢谢，史蒂夫！）

通过使用Stream.CopyToAsync() 将流复制到新流，问题就消失了。要记住的一个警告是，在此函数执行后，输入和输出流都将位于流的末尾。将用于创建CsvReader 的流必须设置回开头，以便CsvDataReader 构造函数正常工作。如果不这样做，将会出现“No header record was found”错误。

以下示例适用于我，希望对其他人有所帮助！

using (var stream2 = new MemoryStream())
{
    await file.Data.CopyToAsync(stream2);   // although file.Data is itself a stream, using it directly causes "synchronous reads are not supported" errors below.
    stream2.Seek(0, SeekOrigin.Begin);      // at the end of the copy method, we are at the end of both the input and output stream and need to reset the one we want to work with.
    var reader = new System.IO.StreamReader(stream2);

    using (var csv = new CsvReader(reader))
    {
        using (var dr = new CsvDataReader(csv)) // error happens here when "file.Data" is used as the stream: "Synchronous reads are not supported"
                                                // error happens here when the stream isn't reset to the beginning: "No header record was found"
        {
            var dt = new DataTable();
            dt.Load(dr);
        }
    }
}

Answer 2

我在使用 BlazorInputFile 和 CsvReader 时遇到了同样的问题。我查看了 BlazorInputFile 的代码，如果您同步读取流，您可以看到 Steve 在哪里抛出错误。此外，CsvReader 的 git 中有几个未解决的项目和讨论似乎与为什么在 BlazorInputFile 中不允许这样做有关。 CsvParser's ReadAsync can read stream synchronously 和 improve async/await performance 另一方面，有一个扩展方法 ReadAllAsync 添加到 IFileListEntry，它返回一个异步 MemoryStream。您只需在创建 StreamReader 时调用它即可。

注意：

1. 使用最新版本的 CsvReader，您必须指定 CultureInfo 参数。
2. 我已成功使用此功能，并将 csv 映射到 IList 而不是 DataTable，因此您仍然可能会遇到问题，但它应该可以工作。

            using var stream = new StreamReader(await file.ReadAllAsync());
            using var csv = new CsvReader(stream, CultureInfo.InvariantCulture);
            using var dr = new CsvDataReader(csv);
            var dt = new DataTable();
            dt.Load(dr);

Answer 3

可能您正在使用的流需要异步读取？以下对我有用。

var request = WebRequest.Create("https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv");
var response = request.GetResponse();

using (var stream = response.GetResponseStream())
using (var csv = new CsvReader(new StreamReader(stream)))
{
    using (var dr = new CsvDataReader(csv))
    {
        var dt = new DataTable();
        dt.Load(dr);
    }
}