如何对 CSV 文件中的数据进行数学运算？ [关闭]

Question

我有 125 列的 csv 文件

指示性 125 列是： ROLL_NO、SCHOOL_ID、NAME、STANDARD、SOURCE_ID、Q1、Q2、Q3（一直持续到）Q120

CSV 文件有大约 20,0000 条记录（适用于各种学校）

我想计算对 CSV 文件中存在的数据执行一些数学运算。预期的操作是：

• 求平均值
• 查找最高分（每所学校）
• 特定列的数据求和

目前我正计划将此 CSV 加载到数据库中并执行所需的操作；在开始之前我有几个问题；

• 是否有任何替代方法可以使用 PHP 执行数学运算（无需加载到数据库中）
• 如何将 csv 中的列存储为数据库表中的行（从 Q1 到 Q120）

Answer 1

由于 CSV 是没有任何索引的纯文本文件，因此对其进行的任何操作都需要至少一次完整读取文件。如果你有足够的RAM，你可以将文件读入数组到PHP中并在内存中执行操作，如果你连续执行多个操作会稍微快一些。

但是，如果您打算进行更严格的计算，我建议您将数据加载到具有索引的数据库中，例如 MySQL，这样您可以更快地执行此类操作。

Answer 2

这是你想要的吗？这可以自动化。

1。将 csv 拆分为两个文件

使用awk 或cut，可以按列拆分。

tbl1.csv 将包含从 column1 到 column5 的数据 tbl2.csv 将包含数据 column1 (ROLL_NO) 以及从 column6 到 column 125

$ cut -d "," -f1-5 input.csv > tbl1.csv
$ cut -d "," -f1,6-120 input.csv > tbl2.csv

2。使用LOAD DATA 将 csv 加载到表中

我假设你已经知道LOAD DATA

小心在数据中转义“,”。 CSV 没有标准的转义方式。如果你的csv只有数字，转义可能不是问题。