好的，所以故事是这样的：
-- 我有很多特定格式的文件（相当大，大约 25GB），需要导入数据存储区
-- 这些文件不断更新数据，有时是新的，有时是相同的数据
-- 我正在尝试找出一种算法，如何检测文件中特定行的某些内容是否发生了变化，以最大限度地减少更新数据库所花费的时间
--它现在的工作方式是我每次都删除数据库中的所有数据，然后重新导入它，但这将不再有效，因为我需要一个时间戳来说明项目何时发生变化.
-- 文件包含字符串和数字（标题、订单、价格等）
我能想到的唯一解决方案是：
-- 计算数据库中每一行的哈希值，将其与文件中行的哈希值进行比较，如果它们不同，则更新数据库
-- 保留文件的 2 个副本，以前的和当前的，并在其上制作差异（这可能比更新数据库更快）并基于这些更新数据库。
由于数据量非常大到巨大，我现在有点别无选择。从长远来看，我会摆脱文件，数据将直接推入数据库，但问题仍然存在。
任何建议，将不胜感激。
【问题讨论】：
标签： database algorithm scalability
理解的问题定义。
假设您的文件包含
ID,Name,Age
1,Jim,20
2,Tim,30
3,Kim,40
正如您所说，行可以添加/更新，因此文件变为
ID,Name,Age
1,Jim,20 -- to be discarded
2,Tim,35 -- to be updated
3,Kim,40 -- to be discarded
4,Zim,30 -- to be inserted
现在的要求是通过在两个 sql 查询或 1 个包含两个 sql 语句的批处理查询中仅插入/更新以上 2 条记录来更新数据库。
我在这里做出以下假设
将 Record [Name,Age] 的哈希值与 ID 存储在内存映射中，其中 ID 是键，值是哈希 [如果您需要可伸缩性，请使用 hazelcast ]。
您的批处理框架加载数据[再次假设将一行文件视为一条记录]，需要根据内存映射中的 ID 检查计算的哈希值。也可以使用批处理框架完成第一次创建用于读取文件。
If (ID present)
--- compare hash
---found same then discard it
—found different create an update sql
In case ID not present in in-memory hash,create an insert sql and insert the hashvalue
您可能会使用 spring-batch 和 hazelcast 进行并行处理、块处理和内存数据分区。
http://static.springframework.org/spring-batch/
希望这会有所帮助。
【讨论】：
与其按需计算数据库中每一行的哈希值，不如存储哈希值？
然后您可以只计算相关文件的哈希值并将其与数据库存储的哈希值进行比较。
更新：
我想到的另一个选择是将上次修改的日期/时间信息存储在数据库中，然后将其与相关文件的信息进行比较。如果信息不能有意或无意更改，这应该可行。
【讨论】：
好吧，不管你使用什么，最坏的情况都是 O(n)，这在 n ~ 25GB 的数据上并不是那么漂亮。
除非您可以修改写入文件的进程。
由于您不会一直更新所有 25GB，这是您节省周期的最大潜力。
1.不要乱写
你为什么不让写入数据的过程只追加？这样您将拥有更多数据，但您将拥有完整的历史记录，并且您可以跟踪您已经处理了哪些数据（您已经放入数据存储区中的数据）。
2。如果您必须随机编写，请保留更改列表
或者，如果您真的必须进行随机写入，您可以保留更新行的列表。然后可以像 #1 一样处理此列表，并且您可以跟踪您处理了哪些更改。如果您想节省一些空间，您可以保留数据更改的块列表（其中块是您定义的单位）。
此外，您可以保留更改的块/行的校验和/哈希。然而，这可能不是很有趣——计算起来并不那么便宜，直接比较可能更便宜（如果你在写入期间有空闲的 CPU 周期，它可能会在以后为你节省一些阅读时间，YMMV）。
注意事项
【讨论】：
实际上，这是必须通过备份软件解决的问题，那么为什么不使用他们的一些标准解决方案呢？ 最好的方法是挂钩 WriteFile 调用，以便您在每次更新时收到回调。这适用于二进制记录。
我无法理解的事情：这些文件实际上是文本文件，不仅是附加的，而且是更新的？这是非常无效的（加上保留 2 个文件副本的想法，因为它会使文件缓存工作更糟）。
【讨论】：