一次又一次地查询数据库或一次将所有数据存储在文件中并查询文件？

Question

我正在制作一组 Talend 作业，我将根据作业的需要以不同方式查询同一组表。这些桌子很大。如果在运行作业之前查询所有表并从数据库中获取所有数据并将它们存储在一个文件中，然后将这些文件用于 Talend 作业中的各种查询，这会不会很好。这些文件将存储在作业运行的同一位置，而数据库服务器将存储在其他位置。如果我没记错的话，那么 DB 本身已经实现了某种缓存和索引，以使查询更快和优化。那么，是否值得将它们存储在一个文件中，然后在 Talend Jobs 中查询它们？我正在使用 Oracle 数据库。

Answer 1

我不会这样做。

根据您的许可，您或许可以使用内存表。尽管如此，根据查询的大小，可能会有一些缓存，如您所说。

我会避免它，因为它可能会导致各种问题：

• 文件系统可能变得不可用
• 本地文件系统中没有缓存，调用它可能会慢很多 - 甚至比处理慢
• 所有数据库性能助手（例如索引、缓存、查询分析器）都将不可用
• 需要实现某种数据库系统 - 这很愚蠢，因为那里已经有数据库了

不过，一个想法可能是这个或另一个数据库中的临时表。

所以重载只会发生一次，我觉得这是个好主意。然后将在临时表上进行进一步处理。之后，在所有进程都完成后，这个临时表将被删除。