使用java在内存中加载2GB [关闭]答案

【问题标题】：Load 2GB in memory using java [closed]使用java在内存中加载2GB [关闭]
【发布时间】：2021-09-24 21:01:20
【问题描述】：

我有一个查询，它返回 2GB 的行数。我需要高性能减少数据库中的选择。如何使用 Java 在内存中加载大量数据？

编辑

我有 48GB 内存可用于此进程的内存。我正在使用 Cassandra 3.11.10、spark 3.0、Java 8。

【问题讨论】：

如果您在编写减少数据的查询时需要帮助，您需要告诉我们更多信息。
您使用的是哪种数据库？获取和处理数据的方式取决于数据库类型。
我正在使用一个 NOSQL 数据库来处理大量数据。我正在使用 spark 并且查询性能非常好。问题是要在BD中一直获取数据，性能很低。一种选择是加载主查询的结果并在内存中进行操作。你有什么想法吗？
“如何使用 Java 在内存中加载大量数据？” 您可以找到与您的数据库类型匹配的 Spring Data 变体的文档，然后阅读并学习.按照教程，然后编写一些代码来加载您的实际数据。除了你必须完成工作的部分之外，还有哪部分让你感到困扰？
所以您要将一个数据库复制到另一个数据库，重新组织数据以便更快地访问？这被称为Data Warehousing。您可能应该阅读该主题。

【解决方案1】：

XY problem 的一个很好的例子。

根本问题是所有这些数据都在内存中。解决此问题的最佳方法是尝试限制从数据库获得的结果大小。

【讨论】：

我的一个朋友用 Python 做的。所以我认为Java也可以这样做。这不是商业应用。我有 48GB 内存来处理内存中的这些数据。我只需要知道是否有办法像 Python 那样在 Java 中做到这一点。
这真的取决于。 JVM 可以处理 48 GB 的内存，尤其是因为这不是商业应用程序。但是您确实提供的信息太少了。
由于合同项目，我无法提供更多信息。感谢您的努力。