【发布时间】:2018-07-27 18:38:24
【问题描述】:
我正在查看基于 MS 堆栈的分隔文件(例如 CSV、制表符分隔等)解析选项,特别是 .net。我唯一排除的技术是 SSIS,因为我已经知道它不能满足我的需求。
所以我的选择似乎是:
- Regex.Split
- TextFieldParser
- OLEDB CSV Parser
我必须满足两个标准。首先,给定以下文件,其中包含两个逻辑数据行(总共五个物理行):
101, Bob, "Keeps his house ""clean"".
Needs to work on laundry."
102, Amy, "Brilliant.
Driven.
Diligent."
解析结果必须产生两个逻辑“行”,每行由三个字符串(或列)组成。第三行/列字符串必须保留换行符!换句话说,由于“未闭合”文本限定符,解析器必须识别行“继续”到下一个物理行的时间。
第二个标准是分隔符和文本限定符必须是可配置的,每个文件。这里有两个字符串,取自不同的文件,我必须能够解析:
var first = @"""This"",""Is,A,Record"",""That """"Cannot"""", they say,"","""",,""be"",rightly,""parsed"",at all";
var second = @"~This~|~Is|A|Record~|~ThatCannot~|~be~|~parsed~|at all";
字符串“first”的正确解析是:
- 这个
- 是,A,记录
- 他们说“不能”,
- _
- _
- 是
- 正确
- 已解析
- 完全没有
“_”只是表示捕获了一个空白 - 我不希望出现文字下划线。
可以对要解析的平面文件做出一个重要假设:每个文件将有固定数量的列。
现在深入了解技术选项。
正则表达式
首先,许多响应者评论说正则表达式“不是实现目标的最佳方式”。但是,我确实找到了commenter who offered an excellent CSV regex:
var regex = @",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))";
var Regex.Split(first, regex).Dump();
应用于字符串“first”的结果非常好:
- “这个”
- “是,A,记录”
- “那个”“不能”,他们说,”
- ""
- _
- “是”
- 正确
- “已解析”
- 完全没有
如果引号被清理了会很好,但我可以轻松地将其作为后期处理步骤来处理。否则,此方法可用于解析示例字符串“first”和“second”,前提是相应地针对波浪号和管道符号修改正则表达式。太棒了!
但真正的问题与多行标准有关。在将正则表达式应用于字符串之前,我必须从文件中读取完整的逻辑“行”。不幸的是,我不知道要读取多少物理行来完成逻辑行,除非我有一个正则表达式/状态机。
所以这变成了一个“鸡和蛋”的问题。我最好的选择是将整个文件作为一个巨大的字符串读入内存,然后让正则表达式整理出多行(我没有检查上面的正则表达式是否可以处理)。如果我有一个 10 gig 的文件,这可能有点不稳定。
转到下一个选项。
TextFieldParser
三行代码将使这个选项的问题显而易见:
var reader = new Microsoft.VisualBasic.FileIO.TextFieldParser(stream);
reader.Delimiters = new string[] { @"|" };
reader.HasFieldsEnclosedInQuotes = true;
分隔符配置看起来不错。但是,“HasFieldsEnclosedInQuotes”是“游戏结束”。我很惊讶分隔符可以任意配置,但相比之下,除了引号之外,我没有其他限定符选项。请记住,我需要对文本限定符进行配置。再说一遍,除非有人知道 TextFieldParser 配置技巧,否则游戏就结束了。
OLEDB
一位同事告诉我,这个选项有两个主要缺点。首先,它对于大型(例如 10 gig)文件的性能很差。其次,有人告诉我,它会猜测输入数据的数据类型,而不是让您指定。不好。
帮助
所以我想知道我弄错的事实(如果有的话),以及我错过的其他选项。也许有人知道陪审团绑定 TextFieldParser 以使用任意分隔符的方法。也许 OLEDB 已经解决了上述问题(或者可能从未遇到过?)。
你说什么?
【问题讨论】:
-
您是否尝试过stackoverflow.com/questions/316649/csv-parsing 列出的选项?
-
我同意@Appleman1234,Filehelpers 应该是你所需要的一切
-
Filehelpers 满足您的要求吗?