如何使用 C# 过滤 CSV 数据

Question

我有一个包含字符串数据的 csv 文件，如果“作业”列为空，我想过滤掉所有数据行，创建一个新的 csv 文件并将剩余的数据行写入其中。

字符串数据中包含双引号“”，第一行的“Id”、“Name”、“Job”实际上是字符串数据，而不是列，也就是说如果数据行的第三个字符串数据是double引用 "" ，它被过滤掉了。

"Id" , "Name"    , "Job"
"1"  , "Alan"    , "Engineer"
"2"  , "Bob"     , "Technician"
"3"  , "Charlie" , ""
"4"  , "Danny"   , ""

根据上面的csv预计剩下的数据是

"Id" , "Name"    , "Job"
"1"  , "Alan"    , "Engineer"
"2"  , "Bob"     , "Technician"

Answer 1

您可以使用以下方法来做到这一点：

string[] lines = File.ReadAllLines("csvFile.csv");
List<string[]> csvData = new List<string[]>();
foreach(string line in lines)
{
    using (TextFieldParser parser = new TextFieldParser(new StringReader(line)))
    {
        parser.TextFieldType = FieldType.Delimited;
        parser.SetDelimiters(",");
        parser.HasFieldsEnclosedInQuotes = true;
        parser.TrimWhiteSpace = true;
        while (!parser.EndOfData)
            csvData.Add(parser.ReadFields());
    }
}

//Select all lines in csv file in which third column are not empty
List<string[]> filteredCsvData = csvData.Where(x => !string.IsNullOrWhiteSpace(x[2])).ToList();

StringBuilder builder = new StringBuilder();
foreach (string[] line in filteredCsvData)
{
    //Quote all columns back
    string[] quotedLine = Array.ConvertAll(line, x => '"' + x + '"');
    builder.AppendLine(string.Join(',', quotedLine));
}
File.WriteAllText ("newCsvFile.csv", builder.ToString());

如果您只需要引用那些使用逗号的列：string[] quotedLine = Array.ConvertAll(line, x => '"' + x + '"');

注意 以下代码使用 Microsoft.VisualBasic.FileIO.TextFieldParser 作为 CSV 解析器，以便在 .Net Framework 中使用它，您需要将 Microsoft.VisualBasic 包含到您的项目中（在 .Net Core 3.0 中也可用）

Answer 2

Step1：读取 CSV 文件并创建一个 List 对象。

使用 Poco 类：

public class Foo
{
    public string Id { get; set; }
    public string Name { get; set; }        
    public string Job { get; set; }
}

您可以使用CSV helper进行读取，配置如下：

Configuration.Delimiter=",";
Configuration.HasHeaderRecord=false; // has your first line look like header but is not
Configuration.TrimOptions= TrimOptions.Trim | TrimOptions.InsideQuotes;
Configuration.RegisterClassMap<FooMap>();

Step2：过滤结果

records.Where(x=> !string.IsNullOrEmpty(x.Job))

完整的代码示例，以及live demo：

        var input = @"""Id"" , ""Name""    , ""Job""
""1""  , ""Alan""    , ""Engineer""
""2""  , ""Bob""     , ""Technician""
""3""  , ""Charlie"" , """"
""4""  , ""Danny""   , """"";

        var records= new List<Foo>();

        //reading CSV to List Foo;
        using (TextReader reader = new StringReader(input))
        using (var csvReader = new CsvReader(reader))
        {
            csvReader.Configuration.Delimiter=",";
            csvReader.Configuration.HasHeaderRecord=false; 
            csvReader.Configuration.TrimOptions=TrimOptions.Trim | TrimOptions.InsideQuotes;
            csvReader.Configuration.RegisterClassMap<FooMap>();
            records = csvReader.GetRecords<Foo>().ToList();
        }

        records.Dump();

        //Filter
        var result = records.Where(x=> !string.IsNullOrEmpty(x.Job)).ToList();
        result.Dump();
    }

    public class Foo
    {
        public string Id { get; set; }
        public string Name { get; set; }        
        public string Job { get; set; }
    }
    public class FooMap : ClassMap<Foo>
    {
        public FooMap()
        {
            Map(m => m.Id).Index(0);
            Map(m => m.Name).Index(1);          
            Map(m => m.Job).Index(2);

            //mapping with column header
            /*Map(m => m.Id).Name("Id");
            Map(m => m.Name).Name("Name");          
            Map(m => m.Job).Name("Job");*/
        }
    }

Answer 3

如果你有csv辅助工具，你可以使用工具解析文件到List或DataTable，过滤数据并导出。

如果没有，可以试试：

using (var reader = new StreamReader(sourcePath))
            {
                using (var writer = new StreamWriter(destiPath))
                {
                    String line;
                    while ((line = reader.ReadLine()) != null)
                    {
                        var list = line.Split(',');
                        if (list.Length > 2 && !string.IsNullOrEmpty(list[2].Trim(' ','\"')))
                        {
                            writer.WriteLine(line);
                        }
                    }
                }
            }