最适合 CSV 表的数据结构？

Question

我正在寻找有关在内存中保存 CSV（逗号分隔值）表的最合适数据结构的建议。 它应该涵盖两种情况：有和没有标题的表格。 如果表包含表头，则所有行的所有字段都由键->值对确定，其中键是表头中的名称，值是字段的适当内容。 如果表不包含标题，则行只是字符串列表或键名的键->值对（如“COL1”、“COL2”、...“COLn”）。

我正在同时寻找最简单（更少代码）和最通用的解决方案。

我正在考虑以下子类化，但怀疑它是否是正确/有效的实现方式：

TCSV = class (TObjectList<TDictionary<string, string>>)
  ...
public
  constructor Create(fileName: string; header: Boolean; encoding: string = '';
                     delimiter: Char = ';'; quoteChar: Char = '"'); overload;
  ...
end;

看起来我必须为每一行字段保留键。 TDictionary<string, TStringList> 呢？这会是一个更好的解决方案吗？

Answer 1

TClientDataset 呢？看起来很简单。

这里只是一个关于如何use TClientDataSet as an in-memory dataset 的简单指南。

Answer 2

您提议的结构意味着您的 csv 文件中的每一行都有一个 TDictionary 实例。本质上为每一行复制列名。好像有点浪费。

假设使用TDictionary<string, TStringList>，您将使用单个列中的值填充每个 TStringList。这可能行得通，但要遍历每行数据的所有列仍然不容易。

正如 GolezTrol 所建议的，TClientDataSet 是 Delphi 的标准配置，非常强大，并且作为一个旨在用于列数据的数据集。此外，虽然它是一个数据集，但它不需要数据库（连接），并且在许多应用程序中用于您想要实现的目标：内存数据集。

Answer 3

我建议您尝试 TJvCsvDataSet，它是我编写并贡献给 JEDI JVCL 的。它适用于带和不带标题的 CSV 文件。它适用于数据感知控件，包括 DB Grids。

它解析 CSV 数据，工作方式与其他人建议的客户端数据集完全一样。

在内部，它使用一个字节记录数组并解析每一行并保持一个整数“查找”，以便它知道每个单独的列从该特定行开始的位置。这使得将一个值更改为另一个值（修改一行中的字段）是一项非常快速的操作。

它支持最常见的字段类型（尽管目前不支持 blob 或货币），它解析 CSV 功能，包括字段值内的嵌入式回车 + 换行符，以及嵌入式 CSV“转义码”，以便您可以将双精度例如，字符串中的引号字符。

它有一个名为 FieldDef 的属性，可用于定义列的类型，或者它可以简单地读取文件的标题，并将其中的每个值视为一个字符串（如果你不告诉它） .

它可以通过添加或删除列来修改 CSV，并执行您希望对 CSV 表执行的大多数常见操作。我已经使用它并对其进行了大量测试，并且效果很好。

Answer 4

根据使用情况而不是 TDataSet，您也可以使用Synopse TSynBigTable，它更高效且限制更少。

对于没有“时间或大小关键”的应用程序，TDataSet 是可以的。

Answer 5

所以您基本上希望能够访问以下元素：

for RowNum := 0 to csv.Count - 1 do
begin
  Name := csv[RowNum]['Name'];
  // Do something
end;

TObjectList<TDictionary<string, string>> 肯定能胜任，但效率不高。

将 csv 加载到数据集中可能是最少的代码量，但开销会稍高。

您可能需要考虑将简单的Tstringlist 或TList<string> 组合用于标头，并将数据分解为一个新类，该类在其构造函数中采用标头列表。你会得到相同的结果：

TCSVRow = class
private
  FHeaders: TList<string>;
  FFields: TList<string>;
public
  constructor(Headers: TList<string>);
  function GetField(index: string): string;
  property Fields[index: string]: string read GetField; default;
end;

TCSV = class
private
  FHeaders: TList<string>;
  FRows:TList<TCSVRow>;
public
  function GetRow(Index: integer):TCSVRow;
  property Rows[index: integer]:TCSVRow read GetRow; default;
end;

implementation

function TCSVRow.GetField(index: string): string;
begin
  Result := FFields[FHeaders.IndexOf(index)];
end;

function TCSV.GetRow(Index:integer):TCSVRow;
begin
  Result := FRows[Index];
end;

这是不完整的，我直接在浏览器中输入，所以我没有测试它的正确性，但你明白了。这样，标题信息只存储一次，而不是每行都重复。

您可以通过将FFields 设为字符串数组而不是TList<string> 来节省一点内存，但TList<string> 更易于使用恕我直言。

更新 再三考虑David 有一点。 CSVrow 类可以被消除。您可以简单地拥有TList<TList<string>> 或二维数组。无论哪种方式，我仍然认为您应该将标题保存在单独的列表中。在这种情况下，TCSV 看起来更像：

TCSV = class
private
  FHeaders: TList<string>;
  FData:TList<TList<string>>;
public
  function GetData(Row: integer; Column:string):string;
  property Data[Row: integer; Column:string]:string read GetData; default;
end;

function TCSV.GetData(Row: integer; Column:string):string;
begin
  Result := FData[Row][FHeaders.IndexOf(Column)];
end;

Answer 6

对此有许多可能的解决方案。 如果您想要根据您的要求提供非常简单和通用的东西（不一定是最好的解决方案），为什么不...

TMyRec =
record
  HeaderNames: array of string;
  StringValues: array of array of string
end;

只需根据需要设置数组的长度（使用 SetLength）。