大型管道分隔文本源文件的优雅 PHP 解析解决方案

Question

我目前正在尝试解决以下问题：

我的任务是解析大型（+-3500 行 300kb）以管道分隔的文本文件，并将它们逐行与我们数据库中的相应代码进行比较。文件示例如下：

文件名： 015_A.txt

文件内容（示例仅显示 4 行）：

 015|6999|Contrary to popular belief, Lorem Ipsum is not simply random text. It has roots in a piece of classical Latin literature from 45 BC, making it over 2000 years old.|1|1|0|0|2016/01/01
 015|3715|It has roots in a piece of classical Latin literature from 45 BC|1|1|213.5|213.5|2016/01/01
 015|3724|Making it over 2000 years old.|1|1|617.4|617.4|2016/01/01
 015|4028|Words will go here.|1|1|74|74|2016/01/01

我将提供一个我已经构建的网络界面，以允许从浏览器中选择文件然后上传到服务器。

使用上面的示例管道文件，我将只使用这些：

代码（以上面第1行为例：6999）

价格（以上面第1行为例：0）

然后我会（在我看来不确定这是否是最好的方法）需要为每一行运行一个查询（我们的数据库是 MSSQL），例如：

SELECT t.Price
FROM table t
WHERE t.code = '6999'

如果 t.Price === 0 则第 1 行已通过。因为它等于源文件。

这是我认为我只需要提出一些建议的地方，因为我确信有很多方法可以解决这个问题，如果可能的话，我想指出以有效方式执行此操作的方向。 （解析文件的最佳方法示例？我是按代码运行查询还是使用 IN 子句执行 SQL 语句，然后比较每个代码和价格？我是否应该放弃这个想法并使用某种形式的纯 SQL 工具我有管道文件要处理/导入。）

任何建议将不胜感激。

Answer 1

你的故事似乎有点过早地结束了。这个脚本唯一应该做的就是检查数据库中的值是否与文件中的文件匹配？如果是这样，从数据库中提取数据并覆盖文件会更简单。如果没有，那么这意味着您需要保留一些变化记录。

这对调解所采取的方法有一定的影响；对数据库运行 3500 个查询将需要一些时间 - 主要花在网络和查询解析上（即浪费）。 OTOH 在单个 SELECT 中比较 3500 条记录以查找不匹配将完全不需要时间。

问题是您的数据在客户端，并且通过浏览器上传只能将其半路传输到数据库。如果您在数据库上创建另一个表（不是临时表 - 添加一列来表示文件），则可以在 a single DML statement 中插入多行，但实际上您应该将它们批量处理成 100 条左右的记录，这意味着您只需要执行 36 次查询即可完成操作 - 并且您在数据库中获得了数据记录，这简化了您报告不匹配的方式。

除非您绝对信任源数据，否则您可能不应该使用 DBMS 提供的实用程序进行直接导入。